彼氏とこれからどうすれば良いかわからない

交際2年です。
彼が同じ職場で近くの部屋に住む人と仲良くなり、飲んで良いか聞かれ了承していました(彼の酒癖は良い)
その後のデートで飲みはどうだったか私が聞くと、サシ飲み後に彼の部屋で宅飲みをしたと。
すぐ嫌だと伝えましたが自分の楽しみがなくなる、年に2回くらいしかこういうことはないよと誤魔化され、それでもやはり嫌だったので、その次のデートで彼女の気持ちを配慮できないその女性が嫌なので、宅飲みも外でサシ飲みも嫌と伝えその人にもLINEしてもらいました
後日異性との飲みに関するルールを設け、お互い納得したのですが(外飲みNGは渋々といった感じでした)
その日の夜に私が彼のLINEを見てしまったところ、実は2度宅飲みをしていたこと(サシ飲み行った日とその翌日)、彼がその人に「外でのサシ飲みは彼女が嫌がるからダメだよ」と送ってもらったはずのLINEが取り消され、「宅飲みはダメだよ」しか送られていませんでした(その人からは「そうだよね、ごめん」と)。他にも、その人からの思わせぶり？なやりとりもありました(全然モテないとか)

LINE見た私が悪いのは承知していますが、何故何もなかったなら2回目の宅飲みを黙っていたのかなど疑ってしまいます。
一度彼と話し合いルールを決め、その後私がLINEを勝手に見たのだから、ルールを守れるかで彼の行動を判断すればとも思いますが、私はその人を信用してないし、彼に手を出そうとしているのではと感じています

彼は昔浮気されたため自分は絶対浮気しないと言っています。私への態度も変わらずよくLINEもしてくれるし、良い面の彼を信じたいですが、男が女からの誘惑に勝てると思えず、今は信じられません
諸々のやり取りを通して彼への信頼も下がっています
彼にはこの複雑な気持ちは伝えられないし、どうすれば良いか分かりません。その人への対応はどうすれば？