職場の人間関係について

職場の人間関係についてです。
私の性別は女で20代です。
20人程度の部署で働いており、今回お話ししたいのはその場所の人たちと飲み会に行った時の事です。
入社した際に指導してくれた事、年齢が高かった男性(20代)がいました。
その方とは仲良く出来ていると思っていたのですが、飲み会の際に私だけ避けられている様に感じました。私には一切話しかけないのに、他の女性達には積極的に話しかけていて、そもそも近くにならないようにしている風に感じました。
何か失礼な事をしてしまったのかな？と思い、後日、飲み会の時私の事を避けているように感じたのですが、何か気に触る事をしてしまいましたか？と聞いてみたところ、飲み会は1次会、2次会とあったのですが、毎回私とその男性が付き合っているんじゃないかと聞かれてそれがうっとうしくて話しかけないようにしていたと言われました。
私とその男性が付き合ったという事実はなく、以前に私自身もそういった質問をされたことがあり、ハッキリそんな事実はありません。と伝えていたんですが、その男性は今回の飲み会だけではなくちょくちょくその質問をされ、そんな事実はないと言っているのに、何度も言われたため避けるようにしていたそうです。
それは何度も言われてたら私も鬱陶しくて避けるようになるなと思い、しかし、私には言わず男性だけにいう職場の人たちはなぜなんだろう、こんな馬鹿みたいなことで私は話す人を自由に選べれないのかと憤りました。
職場の人たちは多くが10歳以上歳上の方達で単に面白いからそんな事をしているのかもしれませんが、私からしたら笑えません。また職場では、男性とはフランクに話をしていますが、内容は基本仕事の話しです。
皆さんだったら職場の人たちに付き合っている事実はないのでそういった発言をやめて欲しいと伝えますか？