気持ち悪い同僚の誘いが止まりません。

「馴れ馴れしい同僚50代男性」について。
質問者は都内在住30代女性です。
都内オフィスで働いています。
同僚の50代男性について、ご相談です。
男性は日常的に「ポップコーンさんのファンです！」と公言しており、毎日席に話しかけにきます。
主は他の社員と同じように普通に接しています。
今までも「今度飲みに行こう」「ぜひ飲みに行きたいね」「焼鳥に行こう」等言われていましたが、社交辞令と聞き流していました。
持ち物もよく見ていて、「素敵な時計だね」「立派な指輪だね」等。
好意は感じますが、聞き流していました。
ところが先日、席に来て「今度フルーツパフェを食べに行こう」と言われました。
私は「甘いもの食べないんですよ。ダイエット中ですし」と答えました。
話はここで終わったのですが、それ以来、気持ち悪くて仕方ありません。
コロナ禍ですし、社内飲み会も一切ありません。
イケると思われたことも不快です。
以来、気持ち悪くて最低限の挨拶のみにしていますが、席が近いため、気持ち悪さが頭から離れません。
しかし職場で波風も立てたくありません。
今後どのような態度を取るべきでしょうか？