褒めてくれる同僚にどう対応したらいいでしょうか

つまらないことですがご助言いただけたらと思い、トピを立てさせていただくことにしました。

私は米国在住30年、50代前半の既婚女性です。夫は米国人で子供はいません。士のつく専門職職場で20年助手をしています。私は子供のころからやってきたバレエが趣味で今も続けているため、体つきが細くしなやかで若く見られるということを、初めにお伝えしておきます。

実は10才ほど年下の士業の男性(米国人）が一年前から隣の個室にいます。いろんなことがあって少々プライベートなことも話すようになりました。（バツいちだそうです）私がバレエをやっていることを話したら「道理できれいな体してるわけだ」と。そんなのは「サンキュー」と流したのですが．．．

最近、給湯場で会ったりすると「フロリダで一週間過ごしたんだ。良かったよ。君も一緒にくればよかったのに。旦那さんはおいて」とか「旦那さんと何かあったら僕の家に来ればいいよ」（何にも愚痴とか言ってないです）とか、これくらいはなんとか流してきました。だけど「君って、ほんとにきれい。旦那さんはラッキーな男だ」とか言われるようになってしまったのです。当たり障りのない話をしているだけなのに、最終的にはそういう方面のコメントが出てくるので困っています。

セクハラみたいな感じは全然なくサラッと言うし、実際とても温和で紳士的な人なので変に反応するのもおかしいし、別に誘われているわけでもないので、どう対応したらいいものか。いつものように何を言われても冗談ぽく「サンキュー」で流していると、暗黙のうちに誘いを望んでいるように思われたりしないかと心配になってきました。

私が50代ということは知っています。波長がとても合う人だし笑いのツボも合うし良い関係を保ちたいのですが、今の態度で接していても大丈夫でしょうか。こんなこと、この年になって情けないです。