女性ばかりの多い職場での男性対応

女性の多い職場で働いている３０代の独身キラといいます。
課も独身女性が多いです。女の子じたい、仲がいいのですが女性だらけの職場なのでやはり「男性の話」となるので、盛り上がります。ここまでは、いのですが他の課でかっこいい男性上司がいて、その男性上司に対して「キラさんの態度が違う」と、冗談半分で言われてました。私も、冗談半分で「やっぱり？」って、返していましたが・・。職場で、ふつうの男性（申し訳ないです）と仲良く話しているときは、特に何もいわれません。問題は、ここからです。　以前に、取引先に数人で行った時に取引先のある男性と話してた時に、あとで「ナンパしてるの？」「キラさんて面食いだよね」「ずっと後をついていってる」って、言われました。というのが、私は彼と話をしたのは一言、二言。それ以上に、たくさん話した男性の取引先の人もいますし、女性とも話しました。そのことには、触れられないで彼の時だけ言われます。確かに彼はかっこいいのかもしれませんが、タイプではありません。男性対応に対して今まで周りの友人からも、「もっとがつがつしたほうがいいよ！」と、言われるぐらいべったりな感じではありません。もちろんボディタッチもしません。仕事の話だけです。もしかしたら、言ってきた子が彼の事がタイプだったのかな・・って思うのですが、おそらくまた職場で言われるのかなぁって思います。それを思うと憂鬱なので、もう男性と職場では本当に必要最小限しか話さないほうがいいのかなと思います。
もし、またこのように言われたら私はどういう態度をとればいいでしょうか？