遠距離恋愛

今2つ年上の院生の男性と新社会人になった私たちは遠距離恋愛をしています。

まだ付き合って4ヶ月ほどですが、つい先日まではほぼ毎日電話をしたり、今週も会う予定で、これからもしたいことがたくさんあり、連絡を取り合っていました。
ただ、この前彼が同期と飲み会をした際、将来の話になり、そこから彼は私のことを考え、これから彼も就職ですが経済的な面や、会えない寂しさを鑑みるとやはり辛いという話になりました。
私も同じような思いは抱いたことはかなりあるし、この付き合っている期間2.3回ほどその件について別れようと話をしたことがあります。
ですが、それは別れる理由ではないと彼から言われ、私自身も遠距離だからそれは付きものであると改めて思っていたのに、彼からぶり返され、よく分からなくなりました。
また自分に自信がなくなったそうで、彼が私のことを幸せにできないと言い出し、さらにもう一つ打ち明けられたことがその飲み会の際、他の同期の女性から告白されたと言われました。
その女性は彼女がいることを知った上で、告白してきたらしく、抱きつかれ、しまいにはちゃんと断りきれず、そんな自分が不甲斐ないと言っていました。
私自身は彼のことが好きだし、会えることをモチベーションにして仕事も頑張っています。
ただ、一方でどこまで彼が私のことを真剣に考えているか分かりません。
別れることが怖いのもあり、また今は到底他に出会いがなさそうなので別れたくはないし、ほんとに好きだからそのまま付き合っていたいです。
彼とも話し、彼自身も別れたいとかはないし、ほんとに好きだけど、ただ単にこんな自分が私のことを好きでいいのか分からなくなったと言われ、とりあえず繋がっている状態です。

私から別れようと告げても、別れたくはないと返されます。
まだまだ書ききれませんが、どうすればよいでしょうか。