隣のご主人

マンション住まいの30代前半の2人の幼児の専業主婦です。
主人が仕事に行く時間にお隣に住むご主人もほぼ同時刻に出勤されています。
私は小さい子供を二人抱いて主人を毎日見送る時に、最近とても感じの良い清々しいお隣のご主人に会釈をします。
部屋に戻った後、最近胸がどきどきして嬉しい乙女心のようなときめきを感じる気分になってしまいました。
昼間は子育てで忙しくてお隣のご主人の顔さえも恋心のようなものも忘れてしまうのですが、翌朝になるとお隣のご主人の顔を一時でも見るのが待ち遠しくなってしまいます。
近頃は主人と夫婦生活を持つときは目を瞑っても決まってお隣のご主人の顔を思い浮かべてしまい動悸が高まって感じてしまうのですが私は異常でしょうか?
主人はこんなことはまったく知らずにとても優しくしてくれるのですが、私の心の隅に主人が物足りなくなってきて、また私も主人を裏切っているようで罪悪感のような気持ちになって恥ずかしく感じてしまいます。
このような経験をお持ちの方はいらっしゃいますか?
どのように対処したのでしょうか、アドバイスいただけたら幸いです。