不倫をしようとする男性の心理って

37歳既婚女性です。子どもはいません。

職場は男性が多く、私はその中で営業フォローの業務をしています。
営業の男性とペアを組んで（毎回特定ではありません）業務をするのですが、先日既婚男性から「ずっと好きだった。つき合って欲しい」と言われました。

夫が大好きだし、結婚しているのに？と少し呆れたように（でも仕事に支障がでないように、やんわりと）お断りしたところ、驚いた顔をされました。

家に帰って考えていたら、もやもやしてきてしまいました。

私はずっと、不倫が始まる時ってお互いが何となく好意を感じていて・・・というものだと思っていました。それでないと、そんなリスクが高いことなんて始まらないものじゃないかな・・・と。

それなら私は、ＯＫ するだろうと思われていたという事？と何だか腹が立ってきました。でも、同時に誤解をされるような態度だったのか・・・と不安な気持ちも出てきました。

業務中に２人きりになるのは、その男性だけではありません。組むことが決まったら２人になってしまうのは誰とでもです。
その男性だけに特別な事をした心あたりもありません。
ひねり出した心当たりとすれば

私たち夫婦には子どもがいない分ペットを溺愛しており、みんなとの会話で「夫より大切かも」と冗談ぽく話しています。
→私的には、半分本気な程の溺愛ですが他人がこんな事信じるでしょうか？

その男性は、よく奥様の愚痴を言うので「奥さんの悪口は聞きたくない。会社でそういう事を言われるのって傷つくよ」と流していました
→傷つくのは奥様のつもりだったけど、私だと思っていたとか？

一体どういう心理だったのでしょう・・・
軽く見られたようで本当にもやもやします。これは私のプライドが高すぎということなのでしょうか・・・