迷っています

私23才夫26才子ども3才です。
大学2年生の在学中に妊娠が判明して学生結婚しました。
去年私は学校を無事に卒業でき、正社員でありがたく働くことが出来ています。
夫は妊娠判明当初大学3年生で、留年したり、大学院に行くと言って入ったはいいものの、全く行っておらず、ついこの間退学届を出しました。
すぐに就職に向けて動いてくれると思ったのですが、すぐ仕事をして続けられる自信がないと就職するまでアルバイトをして来年の4月から新卒と同じタイミングで働きたいと言っています。

今は私の実家の近くにアパートを借りて3人で暮らしていますが、夫はアルバイトもしていなく、ジムに行って保育園から息子を迎えに行ってご飯作るという生活です。
仕事の終わりが保育園の終わりの時間に間に合わないのですごくありがたいですが、正直言って今のところの夫のいる意味としてそれだけのような気がしてなりません。

そして今大喧嘩をしまして、その理由が私と息子で息子の誕生日にご飯をご馳走してもらえることになり実家に夜ご飯を食べに行きました。
夫は結婚当初女癖が悪く、今も働いていないので合わせる顔がないとの事で参加はせず家にいました。
帰るとそっけなく寂しかったのかなぁ？と感じるくらいでしたが息子が買ってもらったおもちゃで息子と遊んでいると1時間ほど家を出て帰ってくるとずっとイヤホンをつけて話しかけても肩を叩いても無視しています。
理由を聞いても答えず、翌日もその態度のままでした。
いつまで続けるのかと思うと悲しくなるし、寂しかったからと言って無視するのはどうなの？と腹が立ってしまい、言い合いの取っ組み合いの喧嘩をしてしまいました。
(幸い、息子はおばあちゃんと動物園に行っていました。)
言い合いに取っ組み合いでなんかもう離婚でも良いのかな？と思う反面、情があるのかどうしようと迷いもあります。
どうしたら良いでしょうか。