文章の感じからいっても非常に危なっかしいです、トピ主さん。
実際、家族内の浮気調査って難しいもんですよ。
特に夫婦間ってそこに感情が多く入りますからね。

泳がせておくべきところで問い詰めてしまったり、下手に忠告して余計に火をつけてしまったり。

なのであなたに「こうしろ」とアドバイスするよりも、多少お金はかかりますがプロに頼むことをお勧めしたいです。
調査会社に依頼してみて下さい。
あなたは、ご主人が「冗談だ」と一笑に付してきたので、そこで一旦引き下がる（ふり）。

証拠が出たらそれを突きつけ、話し合って下さい。
何もでなければそれはそれでいいじゃないですか。