愛され上手の奥様、モテる旦那様アドバイスお願いします！

40代後半 パート主婦です。 2年前 夫のダブル不倫が 発覚しました。
夫の弁明は 会社の部下で 不倫とかではなく 飲みに行く仲間で 気が合う男友達のような関係。いつもは 仲間数人で飲みに行ってたけど 個人的に相談にのったりする感じになり2人で会うようになった。 誓って身体の関係は ない。
との事で 平謝りに謝りました。
納得した訳では ありませんが 夫も反省していましたし 再構築を決め 自分なりに頑張ってきました。

今回 相談したい事は 夫が先日
「10年ぐらい前の飲み仲間だった女性と 仕事で話す機会があり 忘年会に誘われた。メンバーは 女性4～5人。男は自分1人だけど 絶対来てください！ってしつこいから行くしかないな～。」
と 凄く嬉しそうに言うのです。
そのグループは 例の不倫疑惑の女性とは 違うグループだし 夫は やましい点がないから 私にも話したのでしょう。 昔の私だったら 笑って送りだしていた話です。でも 今はとても気分が悪いのです。

ここで 「色々な事を思い出すから 参加しないでほしい。」といえば 夫は 今回は キャンセルしてくれるでしょう。
でも 今後 同じ状況になった時に 嘘をつくと思います。それは とても 辛いです。
夫の職場は 女性が多い職場で 夫は 管理者として 素敵で人気者のようです。
それが 分かっていたので 今までは 夫を信じて寛大な妻で いました。

こんな時 どういう対応をする事が いいのでしょうか？