夫の浮気を未遂で終わらせるには…

夫36歳、私34歳。結婚5年目、子どもはいません。

二人とも、フリーランスで自宅で仕事しています。
月の3/2以上、朝から晩まで3食一緒の日々です。
3カ月近く、セックスはありません。
わたしとしては、不満というか、寂しいです。

最近、夫の行動が気になります。
私も知っている女性と、こそこそ連絡を取っている模様です。
（非難覚悟ですが、携帯見てしまいました…）

夫は、飲みに行くと、いつも終電か、タクシー帰宅が多いです。
ちなみに、飲み会を規制したことはありません。
マスコミという仕事柄、飲みの席は大切だと思っているからです。

ただ、気になるのは、飲み会の解散後に
1人でバーに行き、件の女性が来るのを（おそらく）待っていること。
いつ来るかわからないのですが、携帯から

「いま○○のバーで1人で飲んでます」

みたいなメールを送っています。
多分、一緒に飲みたいのでしょう。

その女性は、既婚者です。
旦那さんは、大変嫉妬深い方のようで、
夫と飲みに行ったとしても、
嘘をついてごまかしていると思われます。

やっかいなことに、仕事関係のパーティーなどで、
その女性と夫はけっこう顔を合わせる関係です。

今のところですが、やましいことはないみたいです。

私としては、その女性と2人で飲みに行くことはやめてほしいのですが、
どう言ったら角が立たないのかがわかりません…。

「○○さんと2人で飲みに行くのはやめてほしい」

とストレートに言ったところで、

「何誤解してるの？」

みたいな、険悪な雰囲気になるのは目に見えています。

でも、このことが原因で、
生涯一緒にいられる自信が揺らいできています。

どう伝えたらいいのでしょうか…。