もう愛せないと伝えたら。。。

アメリカ人と結婚してアメリカ在住です。
結婚してから失業しおよそ３年、一度も働かず家にいるだけの主人に「生活の全てを私だけが支えることに疲れた、もしあなたが仕事に就いても、以前のように愛せるとは思えない」と伝えたところ「自分が職探しで大変な時に、背中を向ける君に対してとても裏切られたような気がする、ひどいことをする」と反対に被害者意識満々で言われました。
帰国子女だったわけでもなく、結婚のためアメリカに住むことになり、外国人である私が外国で、自分だけでなく家事を手伝ってくれるわけでもない主人を抱えて生活費全てをまかなっていくことは大変です。
生活の全ての責任を背負っていくことに疲れたと言うのは、主人への裏切りなのでしょうか。
相手を尊敬して生きていきたいと思って結婚したのに、情けない気持ちで見てしまう自分が嫌です。
お互いの本音をさらすと、話し合えば話し合うほど傷つけあうような気がするので、もうこれ以上２人で話さないほうがいいとも思えますが、このまま苦労する生活を続けるのも嫌です。
離婚するには話さないといけない、でも話せばお互い嫌な事を言いあうだけ、彼は離婚したくないと言い続けているので、出口が見えません。
離婚をされた方、前後がよく見えなくなってきている私に何か良いアドバイスをいただけませんでしょうか？よろしくお願いします。