転職ばかり、でも主夫も嫌う夫

タイトル通りですが、主人37歳、私39歳、小学４年生の娘がいます。
結婚後（結婚前からですけど）ずっと転職を繰り返しており、現在も就活中です。
履歴書には３回しか載せていませんが、実際は１週間とか数ヶ月だけの勤務等もあるので、７・８回はあったと思います。
今までは転職の合間と合間は一応就活はしていましたが、以前は無収入の時期もあり、私が社員やパート勤務で働いていました。
それだけでは足りずに、恥ずかしながら私の実家から援助してもらっていました。
その時はたまたま主人が実家に打ち明けましたが、基本的に転職の話は両実家には内緒です。
身元保証人等でどうしてもの場合は話しているようですが。
無職の期間だけは作らないでほしいと散々お願いして、今はどうにかバイトをしていますが、安定した収入のバイトではないのでかなり心許ないです。
主人だけに頼らず、私もフルタイムで働きに出ようかと考えているのですが、私に持病があり、ちょっとしたことで再発してしまうので、長時間労働を躊躇ってしまい、今は短期のバイトやパートを繋いでいる状態です。
主人が家にいる時はテレビを見たりスマホで遊んだり、もしくは寝ているので、少しでも家のことを手伝ってくれればと思いますが、家事は一通りできるけどやりたがりません。
無職の時期、幼児だった子どもを預かり保育を利用して私が働いている間も、家の事は一切やりませんでした。
最近でも３８度の熱が出ていても、コーヒー入れて、と平気？で言っています。
正直離婚したいですが、私から見るとモラハラ夫なので、キレるのが怖くて言い出せないです。
落ち着いている時はそこまでではないですが…何かスイッチが入ると手がつけられません。
離婚なんて軽々しく口に出すべきではないのでしょうが、もうすぐ４０歳、精神的に落ち着いた生活が送りたいです。
私、甘いでしょうか？