一緒に考えてもらえませんか：主人の密会相手へ警告すべきか

トピを開いてくださってありがとうございます。
私は40代前半、主人40代後半、結婚10年目、子どもは小学生低学年、幼稚園の二人です。
主人が転勤になり、2年前に私は仕事を辞めて一緒に引っ越しました。
仕事は続けたかったのですが、もともと主人が女性と2人で飲みに行くなど行動面で不安があり、これで単身赴任になったら夫婦がうまく行かなくなるのではないか、と考えた末の結論でした。
実は転勤の1年くらい前から主人が以前の職場の同僚の女性と親密になり、他の男性の同僚の方の話に混ざる形で私にも彼女のことを話すことがありました。
男性の多い職場なのでその女性は職場の華のような存在だったようで飲み会には必ず誘っているようでした。最初のうちは単なる同僚かなと思っていたのですが、明らかに主人がその女性に夢中になっている様子が言葉の端々や態度から分かるようになりました。
相手の方も既婚者だったので、「あまり誤解を招くようなことはしないでね」等々、そのたびに言って来たのですが、私をぞんざいに扱う、良い表現が見つからないのですが、主人が心ここにあらず、のような状態になってしまいました。とはいえ、彼女を含む飲み会があっても必ず家には帰ってきていたので大丈夫かなと思っていました。そんなときに転勤の話が出ました。転勤後も主人が前の所属先に出張で行くことがあるのですがどうもそのたびに彼女と二人きりで会っていることがわかりました。私も同じ会社で働いていたことがあり、共通の知人がたくさんおり、休みの日に主人とその女性が二人で食事をしていたのを見た、と言われました。最初はその女性が私だと思って、声をかけようとしたら違う女性で、たまたまその方がその女性を知っていたことで分かりました。
（書ききれなかったので続きを後から書きます）