職場での噂話への対応について

　今年4月に社会人になったばかりの、ゆっきぃです。 　私が勤める職場は、職員組合の活動が盛んで、ボーリングやソフトボールなどの球技大会、クリスマスや忘年会、新年会、夏祭りなど、支社を超えて職員同士の触れ合いが多い職場です。また、春と秋に人事異動があり、職員の本支社間の異動も多いです。 　そのため、先輩方や上司との付き合いも多く、日常的にいろいろな方の噂話を耳にすることが多くあり、対応に困っています。軽くあしらっておけばいいのかもしれませんが、たとえば、誰々が不倫している、誰々は某上司の元カノだとか、あまり関わりたくないような話から、個々の付き合い方の注意点（女癖が悪いから、絶対に二人きりにならないようにとか…） 　あまり波風を立てたくないので、素知らぬふりをしていたのですが、これから忘年会や、新年会など、勤務時間外で長時間職場の方と、時間を過ごす機会が増えることを考えると、気がめいってきています。支社だけでなく、同期会や、部署内でも計画されているので、すべてを断るわけにもいかないし、立場でも一番下ですし。 　私も噂話に関心がないわけではないですが、毎日のように聞かされると、偏った目で人を見てしまいがちで、また最近は私の反応を観察されているようで、正直つらいです。 精神的に強くなるしかないでしょうか？