再婚を考えています。

私は離婚歴アリの２７歳、小1と年中の子供がいます。
仕事は在宅ワークをしています。
２歳年下の５年付き合っている彼氏がいます。
彼の両親には数回しか会ったことがなく、会話という会話もしたことがありません。
やっぱり彼の両親（とくに母親が）は私のことをよく思っていないみたいです。
私の両親と彼は話したこともあるし、私の実家に泊まったこともあります。
ゆくゆくは結婚するつもりなのかな？と長い目で見てくれていましたが、２年ほどつきあった頃から進まない二人の関係にイライラしてきたのか、別れろと言われることが多くなりました。
でも彼と私はまだそこまでの信頼関係を築けたか不安だったのと彼が正社員でないこともあり、結婚にはこだわらないでいました。
それに彼の両親にちゃんと紹介されたこともなかったし・・・。私もパニック障害になり治療中でした。
そんな私たちですが、彼の転職を機に来年くらいに結婚しようかという話になりました。
最初はそんな話になり嬉しかったのですが、彼の両親にもきちんと紹介してもらっていないし、×1だし、きっと猛反対されるであろうと考えるとどうでもよくなってきてしまいました。
結婚したあとも苦労するんだろうなぁ・・と。
なんで私がそんな苦労をしなくてはいけないのかわからないし、私を好きではなく尊敬もできない相手に気を使うなんていやです。
再婚してくれる人がいるだけ幸せなのでしょうか？私がワガママなのですか？彼を待ちすぎて疲れてしまったというのもありますね。
ちなみに彼に子供たちはなついていて、父親のように慕っています。