離婚か、単なる私のわがままか？

どうしても煮詰まってしまい、でも誰にも相談できないでいます。

私と主人、乳児が１人の家族構成です。
現在、東南アジアで生活しています。

主に以下の3つの理由で主人を信じることが出来ず、離婚も考えていますが、
子供がいるのでどうしていいのか分からないでいます。

１　私の知らない女性（アジア人）に毎月２～４万円ほど送金している
２　２年間で３００万位、貯金の使い込みをされていた
３　過去に他の女性と肉体関係があった

１についてはその方は非常に貧しい環境で、
それだけの金額があれば彼女の家族がくらしていけるから
送っているとのことです。
因みに主人の年収は５００万です。

２について。
以前は私が通帳管理をしていたのですが、
私が会社を退職して収入が無くなったので
主人が管理することになりました。
その間私には一切、中身を見せませんでした。

何度も「中身を見せて」と言って、やっと見せてもらえたのですが、
あるはずのお金がキレイに無くなっていました。
それどころか、カードローンがたくさんありました。
東南アジアなので物価も非常に安いはずなのですが。
追求したら、部下に奢ったりしていたら、なくなった」
と言っていましたが、とても信じられません。

もめにもめましたが、これからは私が通帳管理することになりました。
一方、夫の小遣いは7万円です。
この金額にも納得できていません。

３について。
携帯のメールで発覚したのですが、
「飲み屋の子と一度だけ。魔が差した。」
と言っています。
未だに、香水の匂いプンプンで帰ってくることがあります。
「会社の付き合いで」と言っていますが、やはり信じられません。

これで離婚に踏み切ったら私の我が儘になってしまうのでしょうか？