浮気を疑うのは？

妻30前半、夫30後半 結婚2年目、1歳の赤ちゃんがいます。 昨日主人から「正直に言ってね。やましいことない？浮気してるんじゃない？」と言われました。 これまで、たまに冗談ぽく何度か聞かれた事があり(メールしていると、「誰としてるの！？男？」とか、結婚後、SNSでお互い友達になったあと「浮気してないかチェックしなきゃ！」とか)ますが、結婚後、浮気をした事はありません(ましてや、1歳の赤ちゃんがいてできる状況でもありません) 正直男性が浮気を疑うのは自分がやましいんじゃないの？と思ってしまいます。 旦那は携帯は常に放置でロックもかけてないし、外泊もないので妻から見たら怪しい素ぶりはない気がするのですが、自分はやましい事がなくても疑う男性の心理は何でしょうか？ ちなみに、昨日聞かれたのは夕飯が要らないと言われていたので、実母と電話をしていたら帰って来たので、すぐに電話を切ったら怪しまれました。(たまに連絡なしで帰ってくるときがあります。「浮気してないか連絡なしで帰って来た！笑」と冗談？で言われたこともあります) 主人自体は結婚したいランキングで常に上位の会社に勤めていて、モテないタイプではないと思うので(今は太ってしまいましたが)自分に自信が無いわけでもないような、、(妻の欲目かも知れませんが笑) 同じような方はいらっしゃいますか？男性の意見も聞いてみたいです。疑われてうっとうしいとか、嫌だとかはないのですが、単純になぜかな？と気になるので質問してみました。