悩みすぎてしんどいです。

40代　2才の息子一人
息子の父親とは結婚しておらず別々に暮らしています。一緒にいて楽しいし大切な人です。
結婚しない理由は私の一方的な経済的不安、そして住居の問題です。
私の父は私が学生時代に会社がなくなってから働いていません。再就職する気のない父に代わり母が就職して家計を支えてくれました。父が無職になったことがショックで不安で眠れませんでした。母が私に心配させまいと家計の状況を一切教えなかったことで逆に不安がつのりました。その頃から家計の心配をするのがクセとなり染み付いてしまったのだと思います。
子供の父親は社会人になってから 会社を転々としています。今現在就職はしていますが会社を辞めたいと度々口にしています。
住居の問題は　今まで2度同棲したことがありますが、2度とも物件選びですごく揉めました。物件を探している間はいつも喧嘩したりお互い不機嫌で無言になったり…揉めた末やっと決めた家で引っ越し直後から喧嘩したり。それでも一緒にいたくて同棲したので楽しく暮らした時間の方が多かったとは思います。一度目の同棲は彼が私との生活に嫌気がさして一年で別れることに。復縁して二度目は出産を機に私が里帰りしそのまま現在に至ります。古い一軒家で湿気,カビ,ムカデが出るので、大人だけなら構いませんが子供を育てるには大変だからです。出産と育児は想像以上にきつくホルモンバランスも崩れ仕事も休めず体力も気力もキツく引っ越し先を探す作業がどうしても出来ません。
出産して2年ずっと悩み続けています。週末に3人で会っていますが彼にも息子にも私の勝手な理由で一緒に暮らしていない罪悪感でいっぱいです。彼は息子をとても大事にしているのに。
不安ばかり口にする私に彼は自分を信頼できず一緒に暮らせないなら別れた方が良いと言いました。当然です。
暮らしたくない訳じゃないのに…でも…グルグルして決心出来ません。