職場の席が辛い。

初めてご相談させて頂きます。 私は入社4年目（転職）の30代女性です。 およそ1年前、現在の席に移動してきました。 （席替え理由は、新人さんが入るための配置変えです。） 現在の席の近くに、とある男性（40代）がいらっしゃいます。 彼は、某女性アイドルグループの熱狂的ファンで、毎日のように大声で彼の好きなメンバーの子の話をされています。 ある日、彼が数人と会話されている際、「○○ちゃんならイケるけど、××ちゃんだとイケるもんもイケないって（笑）」そして「△△ちゃんだとタタないからなー（笑）」と発言されました。 私は、元々、アイドルの話をすることを好みません。 ですが、社会人ですし、年齢も年齢ですので、会話に加わらなければ良い、としてきましたが…。 上記の会話を聞いてしまってからは、彼がアイドルの話をしているのを聞く度に、激しい動悸と涙が出てくるようになってしまいました。 彼は、非常に仕事ができ、恐らく弊社に勤める人は皆、彼を慕っていると思います。 私も、社会人として、同じ仕事をする者として、彼を尊敬しております。 ですので、私さえ我慢すれば、なんとかなる。 事を荒立ててはいけない、と思い頑張っているのですが…今では、席に座っている事自体が辛いです。 かと言って、別の部屋に毎日篭るわけにも行かず…。 良い大人が、社会人が、このような理由で、席替えを希望することは、やはり恥ずかしいことでしょうか。 直属の上司に相談しようと、いつも思っていますが、どうしても踏ん切りがつきません。 そこで、小町の皆様は、どうお考えになるかお聞きしたく、恥を承知でご相談させて頂きました。 どうぞよろしくお願いいたします。