夫婦再建築中ですが…

昨年から自営業を始めている、主人と女性従業員の事です。
簡単に状況を説明しますと、自営を始めた頃、主人から店を手伝って欲しいと頼まれていた時、子供（発達障害があります）の事で、どうしてもその時は無理だった為、数人のパートさんを雇いました。その内の1人の女性が、よく頑張ってくださって主人の事を仕事上、支えてくれていましたが、私の知らない間に、女性が役員という立場なになり、新店舗を任して、会社の事務的な事すべて、2人で行動しているので、私が不安になってしまい、女性の事で何度も主人と、喧嘩になりました。主人からは、やはり1番大変な時に支えてくれなかった私に対して、かなり不満があり、その女性がいなかったら店成り立っておらず手離したくないと同時に、その女性と浮気した場合、他の従業員が付いて来ないと言われました。自分の気持ちに向き合ってみて、私も悪かったと感じており、再建築を目指す事にしましたが、時折り不安に押しつぶされそうになります。
夜遅くに、その女性から送られてくるLINE（以前、携帯を勝手に見てしまい、その後パスワード変更されてしまいました）家で、その女性と電話する時は、イヤホン着用、最後に主人が『おやすみ」と言って、電話終了。
仕事が激務な為、家帰って来てから寝るまでは、１時間あるかないかの為、夫婦の会話は、5分ぐらい？
これからも、このような生活を送る事を考えると、仕事を頑張ってくれている主人には感謝していますが、その女性に関係する事を少しでも聞くと、嫌な顔されたり、私に対して、怒らないでと毎回言うので、本当の気持ちが言えなくなってしまい辛いです。
主人を信じたい自分と、女性に対しての主人の気持ちが、いつか愛情に変わっていかないかと不安になってます。