既婚女性を好きになってしまった

ただただ誰かに聞いてほしくて書き込んでしまいました。

自分（男　40歳　既婚）
好きな女性（女　41歳　既婚）

この女性は以前に自分の部署で働いていた方です、当時一緒に仕事しているときは何も思っていなかったのですが、自分が別部署に移ることになり、後任者に引き継ぎしているとき、彼女がその後任者と仲良く話しているのを見てすごいジェラシーを自覚し、「俺はこの女性が好きなんだ」と気づきました。でも自分は既婚の身、仕事でも極力会わないようにしていたのですが、どんどん想いは募り、一日中考えてしまいます。
会社で掲示板などに社員リストがあると見たくもないのに、その女性の名前がポップアップして目に入る始末。
部署変わりたくないとも思い葛藤の日々でした。でも異動は決まっていることなので、とりあえず部署を変わる最後に感謝の気持ちをその部署みなさんに手紙を書いて渡し、問題が何かあったら電話してと、電話番号を部署においてそこを去りました。
すると、数日後に自分の携帯にその女性からSMSでメッセージがあり、飛び上がるように嬉しかったのを覚えています。その後いろいろやりとりし、LINE交換したり、以前の部署の飲み会に誘ってもらったり、お互い既婚だけどなんかほんわかした仲でいました。
そんな淡い恋のような、友達のような感じでいたのですが、彼女が一時的に別部署にいくことなりました。するとそこの上司（男　既婚　40歳前）があからさまに彼女にべったりするようになり、周りが怪しみ噂になるほどです。彼女がどう思っているかはわかりません。悩み事があればいつでもきくよ？とか伝えるのですが、特に何もなく、何か二人にある？なんて他人の自分が聞けるわけもなく、ただただジェラシーとの闘いの日々です。
自分が大切にするのは自分の家族とわかっているのですが、この想いが頭から離れません。どうしたらいいのでしょうか。