好かれすぎたらいっそ別れるべきか

はじめまして。 社会人2年目女です。1ヶ月前に職場の同期の紹介で彼氏ができました。相手は3歳年下の大学生です。母校がほぼ同じで、同じ趣味があるなど共通点が多いです。遠距離かつまめではない私の性格上、あまり会えず連絡も頻繁ではないことにも理解を示してくれています。内面はいいところも沢山あり優しくて良い人だと思うのですが、彼と別れるべきなのではないかと悩んでいます。 理由はいくつかあります。ひとつは最悪な第一印象を払拭できずにいるからです。 一応ダブルデートだというのに威圧感たっぷりの上着にジャージ、チャラチャラオラオラした話し方と態度。出会って数分でこいつと二度と会うことはなかろうと思いました。 もう一つは彼が無理しているような気がするからです。 私が絶対的な存在になっているのか、デートプランから価値観まで私に合わせてくれすぎており、己の信念を曲げるほどだと嬉しい通り越して引き気味です。 あとは社会人彼女大学生彼氏のバランスの取り方が難しいというのもあると思います。就職とか奢りとか免許がないので私が毎回送迎とか悩みポイントが多いです。 これらの理由によりデート後は毎回もやもやしています。 会うともやもやし、会わない間になんだかんだ話は合うし理解してくれるしなと思い直しの負のループです。 彼に問題があるというより、私自身に問題があるのは承知の上です。こんな私でも結婚願望はあるし子供も欲しいと思います。 彼は私と恋人同士になれたことをとても喜んでくれています。家族の話もよくするし、子供ができたら〜なんてことも言うのできっとこのまま付き合い続ければ結婚することになるでしょう。しかしこうもやもやしながら付き合うのはあまりに失礼で申し訳ないと思います。私としては彼のためにも早く別れるべきなのだろうと結論を出しかけているのですが、助言をくださいませんか。