浮気？相手と縁を切ることができない場合

お互い30代後半、付き合って2年、同棲半年です。 半年前、彼の挙動が不審だったので携帯を見てしまいました。夜中に30分くらい出て行ったのですが（コンビニ行ってくると言っていました）、それはある女性の相談に公園でのってあげるためでした。私が同棲していることを知っているにも関わらず、女性が相談したいと呼び出したようです。その女性は繁盛している飲み屋の店主です。 彼は私と同棲前、友人を複数人家に招いて飲み会をしていて、その女性も部屋にあがっていました。お店が終わってから飲むので、夜中の2時とか3時とか普通だったようです（家が近いので終電という概念はありません）。 ラインのやりとりでは、直接的に体の関係があったという描写もなく、相手にも彼氏がいて、そのうえ浮気相手もいるようです。やりとりから察するに、体の関係は１回はあったように思います。が、真剣でないことは確かです。 彼に、ラインを見たことを正直に話し、謝罪しました。 彼に、私に嘘をついて女の子に会うのは気分が良くない。この子も私がいると知りながら真夜中に呼び出すなんて非常識だと言いました。 彼は、本当に彼女とはそういう関係じゃない。申し訳なかった。もう個人的に連絡をとらないと約束してくれました。 これで許そうと思ったのですが、彼は夜一人で飲み屋に行くのが好きで、週１～２回は飲みに行きます。毎日飲んでいるような人だったので、これくらいの頻度ならいいかと思っています。 ただ、その女の子のお店に飲みに行ったり、閉店後その子も交えて飲んだりします。その子のお店は人気店で常連客に友達も多いからその友達を失いたくない。閉店後飲みに行く時に、その子を呼ぶのは俺じゃない。誰かが読んじゃうんだから仕方ない。その子だけ排除することは無理だと言います。でもどうしてももやもやします。 自分でもどうしたらいいかわかりません。どうしたらいいでしょう。