自分の友達の話ばかりする同僚が苦手

30代で独身のさえです。
職場の同僚について長年苦手意識があり憂鬱（不快）な気持ちを持って
仕事をしています。
昼食には女子の皆で行きますので、昼食時は会話をしますが、
自分の友達の話、会社の人のうわさ話が大好きで、楽しそうにひたすら
話します。同僚は自分の社交性をひけらかしたいのか、
ただ単にそういう人とどのような会話をしたとかについて、話すのが大好きなのか
半々くらいだとは思います。
社交性をひけらかすような、自分はすごいのだというようなニュアンスも
多々見受けられて、不快です。

自分自身は社交的な性格ではないですが、サークルに参加したり
多くはないですが友人（昔からの親友は数人）はいます。
ただ単に、同僚と比べて社交的でない自分に劣等感があるから悩んでいるのか、
同僚の少し生意気な性格（腰が低いタイプではない）が自分とは合わないのか、両方あるとは思います。

かなりすべての面で、同僚とは外国人かと思うくらい感覚（感じ方）が違っていたりもします。

自分とは全く違うタイプの同性の同僚と、どのように付き合って、
どのように認識していったらいいのか、数年悩んでいます。

なにかご意見等ありましたら、お願いできれば幸いです。