15歳上の彼との将来

私…23歳。一浪して北陸(地元です)国立医学部へ進学。現在四年生。実家は中小サラリーマンで、奨学金とバイトのお給料で賄う。
彼…38歳。高校卒業後、大学２年で中退、その後何年かニート？フリーター？を経て四年制大学に入学、卒業、その後予備校に行き２年かけて医学部(九州)に進学。現在三年生。実家は開業医。

経歴等ややこしくて読みにくいかもしれませんが、よろしくお願いします。
彼とは予備校で知り合い、彼から告白されて交際が始まりました。彼の合格を機に遠距離になってしまいました。卒業して彼が地元に帰ってくるときには私が26歳、彼は41になります。年の差のことなど不安要素もあり、親にはなかなか話せず、話せないまま交際四年？が経ちました。彼と会うときは友達と会うやバイトの後にご飯してくる、など、なんとなく誤魔化して出かけていました。親は、予備校で知り合った人で15個歳上の人がいてまだ連絡を取っている、ということは知っています。このままずっと付き合っていれば結婚という話も出てくると思うので、先日親にちらっとほのめかしてみたところ、「そんなに歳上の家庭の事情も違う人と結婚して、苦労するに決まってる。もしほんとなら親子の縁を切る」と言われてしまいました。私のことを心配していってくれていることは私も理解しているつもりですが、やはりショックなのと、出産のことなども考えると今の彼との将来に二の足を踏む部分もあります。
彼にそれとなくこのことを伝えたところ、「なんとでもなる」といったようにあまり深く考えてもらえないのも気になりました。
彼とは遠距離になってから、年に数回彼の帰省のタイミングで、私が都合をつけて会っています。

年の差でうまくいっている方もいらっしゃる中でこんな相談覚悟がたりないと思われる方もいるかもしれませんが、この彼との別れを考えてしまいそうな私に意見をお聞かせください。