主人が他の女にひかれてる？

はじめまして、りんと申します。初めてのトピたてなので不手際やわかりづらい所があったらすみません。
結婚３年目主人と息子の三人家族。現在仕事の関係で主人とは一緒に生活しておりません。

その主人と先月から些細な事がきっかけで喧嘩になったり仲直りしたりを繰り返していました。
この時の喧嘩で主人の同僚の女性を巻き込むような感じになってしまい、後々恥ずかしく、本人に直接謝罪しました。

その後主人とその女性との関係が変わってしまいました。
彼女（Ａさんとします）が主人の事を避けるようになったのです。
主人がＡさんに理由を聞くと、社内で二人の仲がよく付き合ってる等の噂になっている、既婚者だから自重した方がいいのでは…という事らしいです。
主人はその事をすごく気に病んでいたので、Ａさんと仲直り出来るようにいろいろ話を聞いたりしていました。
正直私は子どもっぽい所があるので、主人から話を聞くと、悩んでる主人を励ましてあげたい…そう考える一方でＡさんに嫉妬する自分もいました。
主人いわくＡさんがいないと精神的に大変らしく、多分Ａさんも主人がいないと駄目らしいです。
さすがにこの発言には参って悲しいと伝えました↓

Ａさんと主人は今は別の任務についておりあう事もなく仕事の用でメールする以外接点はないようです。
しかし主人の任務は待機の時間が長いみたいで、あまりに暇だとＡさんの事で悩むみたいです。そして他の女性の事ばかり考えているので罪悪感も感じるそうです。
罪悪感を感じるなんてただの同僚としての悩みなら感じるはずないのでは？Ａさんに女性としてひかれてるのでは？って聞いてしまいました。
主人からの回答はそうかも、わからない。
でした、はっきり心変わりしたわけではありませんがショックでした。
すみません、文字数の関係で続きます。