私の苦手な人がいる飲み会

私(26)彼(35) 同棲中、職場恋愛です。 彼は職場関係の飲みも多く 友人も多く、趣味も多彩な為 家をあける事が多い方です。同じ職場という事もあり、付き合いなども理解出来るため、普段から家を空ける事に不満は一切ありません。 彼も予定が入るとすぐに共有のカレンダーへ入れたり、誰と、場所はここ。と自ら教えてくれ、接待以外の飲み会は必ず日付を超える前に帰宅してくれます。 本題ですが、 既婚者男性Aさん、独身男性Bさん。 この二人は私達と同じ職場です。 今度、彼とAさんBさんの三人で飲みに行く事になったみたいで、彼から教えてもらいました。ここまでは良かったんですが、その後に彼から2軒目からAさんの奥さんも合流するみたい、と聞きました。 ここで、私は行ってほしくないな〜と心の中で感じてしまいました。 理由は、以前Aさん夫婦と私と彼の4人で飲んだ時に、奥さんから相席屋行こうと言われたり、数ヶ月に奥さんが不倫してた事を知り、私と違う感覚を持っていて倫理観ゼロの方なんだなと感じたからです。 そして後日Bさんから、奥さんの会社の後輩、独身女性も一緒に来るみたい聞きました。多分ですが、彼はまだ知りません。 そういう倫理観ゼロの方は、彼女ありと知っていながら彼と引っ付けようとしてくるのでは？と考えてしまいます。 彼を知っている人に相談しても、そんな人を相手にするような人では無いから大丈夫と言われます。 彼の事は信用しているので、普段から友人関係、飲み会にNGを出した事はありませんが、奥さんの事を信用していないので、今回はかなりモヤモヤしてしまいます。二軒目からは行かないでほしいと伝えるべきか、私も一緒に行っていい？と言うべきか、釘をさして快く送り出すべきか、悩んでいます。 重くなく、相手が素直に受け止められる、角の立たない伝え方があったら教えていただきたいです。