仕事と結婚で迷っています。

私は25歳の女性です。
交際５年目の彼との結婚に迷っており、何かアドバイスがいただけないかと投稿させてもらいました。

私は正社員として現在の会社で３年働いています。地方の中小企業ということもあり入社当時から色々な経験をさせて頂き仕事に対しては
とてもやりがいを感じています。

そんな中学生時代から交際している彼との間に結婚の話があります。彼は４歳上で電車で４時間程の他県で働いる社会人です。
(学生時代から遠距離恋愛で会えるのは月1,2回です。)

彼と結婚して一緒に暮らすなら私は今の会社をやめざるをえません。(年収的に結婚後の生活を考えると私が彼の住んでいる場所にあわせるのが合理的です)
彼とは私が今の会社をやめた場合についても話していて、結婚後も出来れば正社員として働いてほしいがそれが難しいならパートや派遣社員でも良いと言ってくれています。
またどうしても今の仕事を続けたいのであれば、結婚後しばらくの間は別々に暮らしても問題は無いとも言ってくれています。

私は両親が父:自営業、母:パートというとても不安定で低収入な家庭で育ち、収入が少ないことが原因の喧嘩ばかりを見てきたせいか結婚に対してあまり良いイメージを持っていませんし、母が離婚を考えながらもパートという仕事しか経験が無いためかどうしても離婚という選択を出来なかったことなどを見てきましたので、そうなりたくないという気持ちが強く現在の正社員という立場を手放すことが考えられません。
仕事をやめ結婚しパートや派遣社員として働くのは、私の中ではどうしても母の姿と重なってしまうのです。かといって今の職種のまま別な会社で正社員として働くには経験がまだ足ません。

彼の年齢のことも考えると、回答を先延ばしにするわけにも行かないと考えています。
仕事をやめるくらいの決断も出来ないなら、今の彼と結婚はしないほうが良いのでしょうか？