同僚達との食事会後、眠れなくなる

仕事のストレス発散ということで毎週末に同僚達と食事会をしています。
親睦を深める良い機会だと思い参加していましたが
食事会後、いつも憂鬱になることに気付きました。

同僚達は私の仕事のフォローやアドバイスをくれる良い仕事仲間です。
しかし、食事会では社内の人間関係や悪口が始まります。
私を信頼して本音を言ってくれていると思っていましたが
食事会後、なんとも言えないとても嫌な気持ちになるのです。

誰と仲良くすれば自分が優位に立ち、嫌いな同僚を追い込む事ができるか
その鋭い観察力や排他的で損得勘定の考え方を恐ろしく感じる時があります。
ある社員さんが実は私をネタに笑っている・利用している等と気付かされた時はショックで不信に陥り、以来、その社員さんとうまく接することができなくなりました。

私は仕事でもなんでも目の前の事柄に没頭してしまう視野の狭い人間です。
周囲に気を配れず、場の空気を読めず、融通が利かず、社内の人間関係も把握できない。
一方、頭の回転が速く、視野が広く、要領良く生きる術を知る同僚達からは
学べる事が多く、その影響力は私には多大です。
社内事情に疎く、マイペースで馬鹿正直、尊重と信頼を持って分け隔てなく人と接すること
その私のスタンスが揺らぎます。このままでは痛い目にあう、でも誰をも疑ったり傷つけたくない。
良心の葛藤が生じ、眠れなくなり、誰を信じてよいのやら出社するのが怖くなります。
最悪、同僚達の悪口の矛先がいつか私に向くのでは？との不安にもかられます。

食事会を続けていては自分を見失う気がします。
孤立してでも１人で仕事をこなす能力があれば不参加を表明できるのに・・・
同僚達の支えなしでは満足に仕事をこなせない自分の無能さが嫌になります。
このような状況を打開する方法、アドバイスをよろしくお願いします。