男女間の噂を立てられ…

職場で仲が良い男性と勝手に「付き合っている」という噂が立って困っています。 その男性は私より６歳も年下なのですが、話は合うので一緒になった時は他愛無い会話でよく盛り上がってます。 ですが、話し掛けるたびにジロジロ見られたり「あの二人、良い雰囲気だよね」とヒソヒソ話しているんじゃないかと思えてしまって気が気じゃありません。 実際、友人から「私とその男性が付き合っているのかと見間違うほど良い雰囲気だったよ」とまで言われてしまい…。 私は友人としては彼のことは好きですが、恋愛感情はいまいちあるか解りません。 彼自身に聞いたところ「変な噂が立っているから正直僕は巻き込まれるのはゴメンですよ」とまでキッパリ言われてしまい、少しだけ落ち込みました。 仕事上、顔を合わせる事が多いため、避けるような方法だけは取りたくありません。 対応としてはどう対応すれば良いでしょうか？