大好きな彼との付きあっていくのに自信がなくなってきました

私…20代後半、会社員
彼…20代後半、会社員
彼（私が初めて付き合った男性）と付き合って2年ほどで、今まで特に大きなけんかもしたことなく、仲良くやってきましたが、付き合い当初から、2-3年後に彼が転職する予定であることは知っていました。

最近、彼が次の仕事先を探しているようなのですが、探しているエリアは他県（行くのに半日かかるところです）で、彼は私との付き合いを遠距離で続けたいと思っているようです（結婚の意思をきいてみたところ、仕事がおちつくまでは結婚は考えられないと言われました）。

つきあった当初から、私は遠距離恋愛はできないと伝えていましたが、最近彼と会うたびに、あと何回会えるのかカウントダウンして不安になり、別れを想像し辛いです。
彼と会っているときは楽しく、そのような不安は消えてしまいますが、会った後、帰りに一人になると、この付き合いが終息に向かっているのではないか、そんな思いで彼と付き合っていていいのかという気持ちになります。

彼は私がそう思っているのに気付いていますが、次の仕事先が決まらないのに離れるとか仮定の話をしても…という感じです。
彼の言うこともわかるのですすが、気持ちがうまく処理できずもんもんとしており、彼のことは大好きなのですが、この気持ちを抱えたまま彼と付き合っていくことに不安を感じています。
結婚しない・遠距離するという彼の意思はかわらないと思うので、遠距離するか別れるか、私の気持ちの問題なのかなと思いますが、今は近くにいるので別れを考えたくないし、別れを考えながら付き合うのも嫌だし。
今は割り切って、その時になったら考えればいいのか…。
自分がどうしたいのかわからなくなっています。

自分のことなのに自分の気持ちがわからず、文章もわかりにくいかと思いますが、どなたかアドバイスをお願いします。