別れの決心をつけたい・・・どうすればいいかアドバイスを

結婚して７年目。もうすぐ結婚記念日です。
年下の夫は子供がほしくて私とは「いつか離婚する」とずいぶん前から言ってます。１年ほど前に夫が軽い浮気をしてから、私は疑心暗鬼になってしまい、夫を問い詰めるような言動が目立ったかもしれません。
夫とは些細なことで喧嘩になります。夫に言わせると全て原因は私で、私が怒る（黙って無視する）から喧嘩になるといいます。私の言い分は、夫に伝えてもそれを実行しなかったり、できなかったりするので我慢ができず感情的になる、と言ったパターンです。
喧嘩になると夫はすぐに「もうやってられない、離婚」とすぐ言います。今回は、昨日台風でしたが、私は絶対に帰ってきてほしいと伝えたのですが、夫は帰るとも言わずずるずると遅くなり結局ネットカフェに一泊し、朝帰り。夜２時くらいまで電話でやりとりしました。夫も私も寝てません。
今回も夫は「あなたとはもうやってられない」「あなたと(私は）は関係ないからね、市役所行くの？行かないの？」「なんでそんな小さな事で怒るの？私の事全然考えてないでしょ」と責めます。
確かに小さな事かもしれません。ただ、どんなに遅くなっても帰ってきてほしかったのです。夫にとって帰りたいうちであってほしかったのです。
でも・・・・もういいかげん　私が彼を手放す必要があるかと思ってます。彼は離れたいと何度も言ってるのに、私が承諾しないから離れられない。
一人になると苦しくて苦しくて・・・みんなそうだと思いますが、どう、踏ん切りをつけたらいいのでしょう？