離婚迷ってます。結婚４ヶ月です

３年半お付き合いし結婚４ヶ月です。
私20代後半初婚彼は40代前半×イチです。

彼は自営業で仕事が不安定です。自分に自信がなくネガティブ、優柔不断な所あります。
今回ではなく前に結婚すると決めていた時期があり当時彼の仕事が上手くいかない時期で具体的に来年とかではなくしばらく数年延期しようと言われました。
それはいいとき悪いときの波が付き合ってる時から繰り返してるのも私も承知でした。私は彼の気持ちもわかるけどそれは波もあることだから二人で乗り越えていこうと言いましたが彼は私が何を言ってもマイナス思考になってしまいだめだったのでそこで一度別れています。

その後別れてから私は立ち直り新しい道を進もうとしていました。別れてから３ヶ月間彼が俺が悪かったと謝罪があり手紙や泣きながら電話メールに誓約書まで作り結婚してくれと言われ結婚しました。結婚してから彼は仕事で深夜帰りが多く私にご飯いるかいらないか連絡位は夕方までには欲しいとかせめて１分でもいいから会えない時は電話ほしいと訴えていました。段々喧嘩が増えていき彼は口ではごめんちゃんとするって言いながら同じ事を繰り返すだけでついに大喧嘩になり私が出てこうとしたところ殴られてはないですが手を出され顔とか体打撲で病院にいきました。
そこから別居して実家に帰っています。
彼が迎えに来る事はなく私から連絡し離婚も考えた上でどうするか話したところ彼も離婚迷っていたと言われました。そこに今仕事がまた悪化してきて生活費持ってこれるかわからない俺といても幸せになれないんじゃないかとかほとんど仕事の話しでした。私は彼に旦那に必要とされたかった。もっと見てほしかったとわがままを言ってごめん。もう一度だけやり直せないか聞いた所考えたいと言われました。
まだ気持ちはあるし離婚するべき事じゃないかもしれないと思ってますがただ好きだけでは生活できませんよね？