年の差のある彼氏との将来

私27歳、彼氏44歳で付き合って6年程経ちます。 職場で彼と出会い、好意を寄せられお付き合いをはじめました。 彼は離婚歴があり、子供がいることは聞いていましたが、その際元奥様と一緒に暮らしていると聞いていました。 ですが、お付き合いをはじめて少し経ち、もう一度確認したところ彼には子供が2人おり、ひとりは元奥様の方に、もうひとりは彼の実家で暮らしていると教えられました。ちなみに彼は若い頃結婚をしたそうでその子は現在成人しています。 私は悲しかったですが、その子の事を否定してしまうような気持ちになり、この事を咎められませんでした。 はじめはこの子供の事や年の差が気になり色々悩みもありましたが、時間が経つにつれ何でも話せるような仲になり、彼と過ごすことがとても楽しくなりました。年の差があるからなのかとても甘えさせてもくれます。 しかし私は最近彼との将来を悩むようになりました。 彼はもうすでに子供がいるからか、子供はいらないのではないかと言うような発言をします。 また、結婚をしてしまうと親戚づきあい等大変になるからこのままで良いんじゃないかとも言います。（彼の実家は田舎方の方ににあり、長男だからという理由もありますが） 一緒にいられれば楽しいと思ってはいましたが、ふと将来を考えると、もし彼と元奥様との子供に子供が出来た時（彼にとっての孫）私はどうなるんだろう?これだけの年の差で彼のが亡くなったら?とすごく不安になります。 彼の実家には何度か連れて行ってもらっており、子供と会った事ももちろんありますが、打ち解けられてはいませんし、彼と年の差がある為私をあまり良く思っていないようです。父親の彼女が自分と7歳程しか年が離れていないなんて嫌です。 私は彼の為にも自分の為にも別れた方が良いのではないかと思い始めました。 長文、分かりづらく申し訳ありませんがご意見をお聞かせください。