依存家族が沢山いる彼、私の幸せはあるのか？

３０代女性です。まだ籍は入れてませんが（色々と問題があるように思え）内縁の関係の男性がいます。向こうの親族は妻だと思っています。数年前に同棲を始め幸せだったのですが、実家でご両親と同居していた義兄が病気、長い闘病生活後亡くなりました。義兄には子供が４人、義姉は体が弱く働いてません。入院中から生活をみる事になり、入院費、義兄家族とご両親の生活費・・・私の貯金も底をつく程に。お葬式代も立替ました。なんと義兄は保険に入ってなかったので、ビタ一文返ってきませんでした。香典は？義姉の手にすべて行ってしまい、それを手に家を出て行きました。高齢のご両親の世話の為、実家に帰った彼。私はまた一人暮らし。義姉は働いてません。大学に通う娘もバイトをしてません。「お世話になって、ありがとう。」も言ってもらってません。 何かと彼を頼ってきます。私たちの幸せを考える余裕は全く無くなりました。 義父も昨年亡くなり義母は頼れるのが彼だけです。 私と外出も嫌な顔をします。家に一人だけになるからです。私も一人になってしまったんですが・・・。 義母も「だれだれさんとこは子供が沢山いるから、それぞれからお小遣いもらったりして楽に暮らしている。それに比べて私は一人だけになったから。。」みたいなことを洩らしたりします。 彼の実家には義兄家族の物だらけ。正直恨んでしまっているので彼の家に入りたくない気が強いです。 彼は好きなんですがどうすればいいでしょうか？ きっと二人で幸せな家庭を築くことは出来ないのでしょうかね・・・