夫の言い分にモヤモヤします

このたび、妊娠が分かった共働き夫婦です。
私の仕事（教員）は産休・育休が充実しているものの、復帰後、定時で帰ったり、休みを頂くのは仕事柄大変難しく、
また私も夫も両親は県外に住んでおり、助けてもらうのは難しい状況です。
そこで出産後の働き方を話し合っているのですが、夫は私が一旦退職し、再度、講師なり、試験を受け直すなりして働くことを希望しています。
「男はいったん辞めてしまうと、再就職が難しいから」というのが言い分です。

分からなくもないのですが、心がモヤモヤしています。
結婚前、私と夫は遠距離恋愛をしており、私が約１０年続けた仕事を辞めて夫の住む場所に引っ越してきました。
以前の仕事は雑誌のライターで、忙しいながらも大好きな仕事でした。
ただ、夫との生活を大切にしようと思ったこと、そして「専業でもパートでも良い」という言葉を信じて退職届を出しました。
しかし、その後日本を不景気が襲い、夫（当時は婚約者）の給料も激減。
「こちらに来たらすぐに仕事を見つけて働いてほしい。（ただ、ライターはハードすぎるからやめて）」と言われました。
私は３０過ぎの女（しかも妊娠を望んでいる）が、土地勘もない場所で、今までのキャリアを生かさずに正社員として再就職するのは難しい思うと伝えましたが、
「努力が足りない」、「甘えている」などと言われました。
結局、ライターとして働きながら（届提出から退職日まで間があったため）採用試験を受けました。正直ハードでした。

それなのに自分は「男だから再就職が難しい？？」なんだかなぁ。と思ってしまいます。
どのように心に折り合いをつけたらいいのでしょうか。