無責任な旦那

現在1歳半になる子供がいます。現在旦那は単身赴任しております。最初は熱望していた旦那も妊娠中期に中絶してほしいと言われたり、出産予定日にいきなりの転勤辞令がでて一人で出産、育児をしていたら無理がたたり鬱を発症しました。現在は実家で両親に助けてもらいながら育児をしています。旦那は月に一回は子供に会いにきますが、仕事依存症というくらい仕事人間です。
月に一度きてもずっとパソコンを弄っていたり、旦那の住んでるところが田舎なので美容室にも必ずいくし、買い物などもして自分の時間も過ごします。そして2日くらいですぐに帰って行きます。妊娠中からレスでコミュニケーションが無いことも何度も話し合ってきました。
両親も高齢なので今後の事も考えてほしいと話しても、他人事のようにへーという態度に、いい加減にこんな結婚生活はおかしくない？当事者意識はないの？と言ったら「俺は仕事に集中したい。家族が足枷になっている。お前とは考え方が昔から合わないし、もう離婚して自由になりたい」と言われました。子供の人生は？」と言っても「両親が不仲でいるよりいいんじゃない？家族の為に自分を犠牲にする人もいるけど俺はそうなりたくない気持ちは変えられない。結婚生活向いてなかったんだ。他の人と幸せになって」と、何を言っても無責任発言しかしてくれません。

自分は病気で働けない状態、子供や高齢の両親の為にも我慢しようと今日まで耐えてきましたが、あまりの無責任な発言や行動にやはり離婚した方が良いのかと思いました。
ただうちの両親も高齢でお金も持っていません。鬱の私がシングルマザーで子供を養っていけるのと思うと、不安でたまりません。
こんな旦那離婚した方が良いのはわかっているのですが、今精神的ダメージの大きさに心がついていかず、まず何から始めて良いのかパニックになってしまい、ご経験者様や皆様の意見を聞かせて頂きたいと思い相談させて頂きました。