昔の不倫の記憶、夫の行動にモヤモヤ

夫はよく会社の飲み会とか、社内の特に仲のいいメンバーでの飲み会、町内会の飲み会などで出かけることが多いです。
その度に嫌な気持ちになります。

かなり昔ですが夫は会社の人と不倫して、私とは離婚騒ぎになりました。
浮気とかじゃなく、離婚して欲しいと言われました。でも別居などを経て2人目も生まれました。
でも私の中で完全に許すとか忘れることが出来るわけもなく、思い出して辛くなると泣いたり責めたり喧嘩を繰り返し、『一生償えって事かよ！』などと言われました。

なんとか持ち直して再構築していても、
やっぱり何事もなかったようには行かず、喧嘩もするし、レスになりました。夫はしたいようでしたが私が無理になり、それを伝えると『しないなら結婚してる意味がない』と言われました。
『次の人を探すにも早い方がいいから別れたい』とも。
借金問題もありました。

結局また持ち直して、今日まで来てるのですが、発端も酷いことでしたし、その後も事あるごとに言われた酷い言葉が記憶に残り、夫に対して信頼とか、安心という気持ちがありません。
20年以上経っても同じようなシチュエーションになると（ただの残業で帰りが遅い、誰かとLINEのやり取りが続いてる雰囲気とか）胸が締め付けられる気持ちに襲われます。（好きだからとかじゃない）
でも、余計なことを言うと離婚騒ぎになってダメージを受けるのは私だけだと思い、もう思ってる事を言わなくなりました。

別れた方が良かったのだと思うし、
今からでも別れた方がいいのかも。
こんな事をずーっと考えながら、表面上取り繕って過ごしています。

家庭内では散々人を振り回している夫なのに、会社や町内会ではいい人で通っているのも嫌だし（普通に考えたらいい事なんですが）それでいまだに遊び歩いて、夫だけ平穏な気持ちでいるのかとモヤモヤ。
夫（と言う立場の人）とは信頼し合いたかったです。