旦那への不信感と相談女の対処

夫の職場の相談女絡みで悩んでいます。
夫は相談女の仕事の相談に親身になって聞いていたり、相談以外でもかなりの頻度で連絡を取っています。夫は1年前に他の女性と浮気をしていたというのもあって、当時の不信感から携帯を覗いてしまう事がやめられませんでした。

ある日、夫の職場の飲み会が昼からあり、誰がいるのか聞くと相談女含む４名だそう。夫が出かけてからも落ち着かず、電話でどこで飲んでいるのか、今日は早めに帰ってきてほしいと伝えると、「もう面倒くさい、帰ればいいんだろ」と疑われた事に苛立って電話を切られてしまいました。飲みに出かけで４時間後に夫が帰宅し、私が疑った事に対しかなり罵倒されました。こんな状態が続くのは耐えられないと離婚という言葉も夫の口から出ました。私も引き下がらず、普段はあまり探らないのですが、いろいろ問い質したところ、やっぱり相談女と2人で飲んでいたのが発覚。やましい事はしていない。本当に仕事の相談にのってほしいと誘われて飲んでいただけだと言っています。
聞く所、相談女は職場のチームのリーダー的な存在であり、生意気な態度が上から嫌われていて、上と相談女の伝達を上手くできるように仲介役として夫がそのチームに入れられたとの事。仕事の相談をする分にはいいのですが、頻度がかなり多く、夫も優しくしすぎた実感があると言っています。今後も恐らく相談といい頻繁に連絡が来たり、夫に甘えてくると思います。

私自身バセドウ病を患い、子供を産むために治療中なので、これ以上自分に負担をかけたくないし、夫の事も疑いたくありません。
ただ夫も来る者に優しく、抵抗する事が苦手なのでそこも悩みの種です。私が仕事の時に、夫と相談女の休みが被っている日には気になって集中出来ません。
できれば相談女と距離をおいて前向きな夫婦生活を送りたいのですが、どうしたら改善できるでしょうか？