待つべきか、離婚すべきか・・・・

今、4歳の娘一人がいまして、家庭内別居？状態で悩んでます。
結婚して9年、いろいろありました。
それを乗り越え、去年春頃新たな気持でお互い再スタートをしたかと思ってたんですが、去年の年末旦那が突然もう自分に無理をしたくないと。。。
一度きりの人生、もっと楽しみたい！自由になりたい！と。。。
さぐってみると、女の影が・・・
もちろんそれを突き詰めたら、遊び友達だと言い張り、本気の感情はない！っと言い切ってますが、年があけると何日も仕事が終わっても家に戻ってきません。
これって、遊び以上になってると思うんですが？違うのでしょうか？テキストも一日中何十件も・・・
突き詰めれば、そういうのがうっとうしいと！とにかく今は自由にさせてくれてと、それが嫌だったら離婚して！っと簡単に離婚を口にするんです。
仕事前に数十分戻ってくるときには、普通に話し、これから先の話を普通にしてきます。例えば今度車を買いに行かないか？とか？生活の用事も普段通りに言って来たり。あと一年で、次のステップを踏むから（仕事のこと）ここから引っ越そうとか？
どう受け取っていいのかさっぱし分りません。
外泊したりの、この生活をいつまで続ける気なのか？
男の人の考えがさっぱり分りません！
子供もいるのによくそう自分勝手なことがいえますよね。結婚して子供まで作って、その責任というのを感じない人みたいで、とにかく自分の人生を楽しみたいと。
今はとりあえず、わたしはグッとガマンをして普通に接しようとしています。少しでも気が変わればと・・・
でも、本人は一切悪いと思ってないし、わたしのこともかわいそうとも思わないと言っています。
本人曰く、こうなったのは結婚前に起こしたわたしの失態が、引きずってると。いつも喧嘩になるとそのことを言われます。
もう、どうしていいのか？
何かいいアドバイスをお願いします。
夜も眠れません。。。