転職したい夫

去年入籍しました。今の職場が体力的にきついので転職したいと言われました。
前にも一度自律神経失調症で仕事を辞めました。それはしょうがないことなので転職OKしたのですが、その時に「次は頑張る、養う」と言って前職とは違う工場に転職しました。前職より給料は良いのですが、営業しかしてなかったら体力的にきついんじゃない？と問いましたが「大丈夫、俺には夫として責任があるから」と言って去年転職しました。そして昨日、転職したいと言われました。何か人に言われたりするの？嫌な人がいるの？と聞くと、ただただ体力的にきついとの事です。甘くない？体鍛えるとか努力した？とか言ったらうつむいて何も言わない...
正直、信頼がなくなり、この人との将来が不安になってきました。子供も欲しかったですが諦めるしかないかな？と思ってしまいます。私の存在がストレスになってるなら離婚した方がいいと言ってしまいました。今、貯金がないことはすごく不安ですが何より将来の不安が大きいです。妻として何かできないものか考えています。親に相談してしまうといつでも帰っておいでと言われそうなので相談したくなく、友人も結婚してる人が少ないので皆様の意見聞かせて下さい。