夫の思考回路が理解できません

はじめまして、よろしくお願いします。
わたし35歳、夫33歳、結婚1年目で子供はいません。

先日、近所の100円ショップである中年の男性がじーっとわたしの顔を見てきて、何だろうと思ったら耳元で「綺麗やなぁ」とつぶやき去って行きました。
その数日後にも今度はやはり近所の本屋さんで、同じ男性に同じようにつぶやかれ、ちょっと気持ち悪く思ってしまいました。

そのことを夫にメールで伝えたところ、こともあろうにその中年男性がわたしに対してしている（であろう）いやらしい妄想を文章にして送ってきました。
とても不愉快だったし、夫として心配にならないのかと怒り、夫も反省しそのときはそれで終わりました。

しかし、今日になってまた、「気持ち悪いって必死にごまかしているけど、おじさん（中年男性）を気に入っているんだろう」「褒められて嬉しかったんだろう」「他に気になる人がいるなら離婚でもあきらめがつく」などと言ってきました。どうも、わたしにはまったく記憶にないのですが、別の話をしていたときに、「おじさんどうしてるんかな」と言っていた、と夫は言うのです。

わたしは気持ち悪いと言うことも伝えていたし、なぜそんな話になるのか、意味がわかりませんが、夫の中ではわたしがそのおじさんに好意を寄せていることになっているようで、何を言っても信じてもらえません。

こういう心理って、誰にでもあることなのでしょうか？それとも、やはり夫がおかしいのでしょうか？