このまま彼氏と付き合っていていいのか…

30代前半の彼氏がいます、私は20代半ばです。もうすぐ付き合って1年になります。現在は中距離恋愛？のような感じで、2週間に1、2回会うような形です。 彼はいずれ結婚を考えているようで、付き合った当初からそのような話をたまにしてきますが、私はまだ結婚したくありません。仕事について悩んでおり、今後転勤や転職など考えているところです。私としてはもう少し仕事に集中したく、あと3〜5年くらいは頑張りたいと思っているのですが、そうなると彼に負担を強いてしまうと思っています（結婚を待たせてしまうことや、今より遠距離になってしまうことなど）。 彼は容姿がタイプじゃないことが気になりますが、優しい彼です。しかし1年ほど経ってドキドキするような気持ちも落ち着いてきました。別れたいというほどでもないのですが、仕事や自分の生活を引き換えにしても彼といたいと思うほど好きでもないです。自己中な考えだとは思いますが、そこで障害があるようなら別れたいと思うこともあります。今後どうするのがいいのか、、考えをお聞かせください。