離婚まよってます

子供は二人小１と一歳です。半年前から夫が朝帰りするようになり、突然の離婚を言い出してきました。理由は今までの不満を言い出し、一人になりたい、愛情がないと・・。 突然のことで何が何だか分からないまま、夫が不満に思う事はまず謝り改善していこうと、話し合いも何度かしているうちに家に帰らなくなり電話もメールも返信なしになりました。たまに帰ると家に帰ると、話しやなんかでうるさくて落ち着かないので車や会社で寝ていると。もう一度一から仕切りなおそうと話しても聞く耳持たず。私も最終手段で調べてみました。 すると、二人の子持ちのひとり親家庭の家に泊っていました。女は自宅にも一度見に来ていました。（私は顔も車も知っていましたからすぐわかりました）夫に怪しい女が来たと言っても知らないと、ナンバーで調べたといい名前や自宅を言うと部屋を借りていただけの女友達といい、男女の関係はないと言い張り、毎回女の話になると答えもいろいろで嘘ばかりいいます。 最後にはこうなったのも過程がある、俺ばかり責めるなと。しかし、一人になりたいと言って、子供のいる家庭に泊るのはどうかと思います。給料は全額入ってましたが、年末にとうとうお金がいるのか通帳を出せと言い出しました。 子供たちの生活もあるからと、おこづかいを見直すことでなんとか渡さずにきています。あまりにもの身勝手さ、子供たちにも朝帰りしたり帰らなかったりの状況もよくないと思い離婚を考えました。弁護士にも何回か相談しましたが夫が認めてないならラブホでないし浮気とは認められないという弁護士もいましが離婚届を夫に出すと、急に家に帰りだし自分が言い出したのにサインすらしてくれません。 女とどうなったのかもわかりません。五年前にも浮気はしていますし今回も不信感でいっぱいです。夫の今後の様子を見ながら子供がもう少し大きくなるまで慎重に行動したほうがいいのでしょうか？