×１子持ちの方とのお付き合いについて

はじめまして。白檀です。

タイトルのように、現在×１子持ちの方と付き合って半年ほど経ちます。
私３５歳、彼４３歳、お子さん（１８歳男、１５歳女）です。
彼は８年ほどシングルパパをしていて、子育ては早く卒業したいと考えています。
私は、病気で子供を産むことができないので、認識はあっています。


お互いに将来的には結婚を考えています。
彼が「子供が自分の再婚に理解をしてくれたら」と考えており、私もその考え、思いを尊重しています。
何より、せっかく今まで彼の家族ががんばって過ごしてきたのを、壊すようなことだけはしたくないからです。

先日、彼がお嬢さんに「今度よかったら家に来てもらってもいい？」と聞いたそうですが、断られたそうです。
付き合っていることは以前伝えてあり、そのこと自体には反対はしてないそうです。
彼は申し訳なさそうに「ごめんね。」と私に謝りましたけど、私は仕方ないと思っています。
私は「子供さんが２人とも会ってもいい」と思ってくれるまでは、無理に会うつもりはありません。
彼は「子供がいないときは、家にあがってもらってもいいよ。」と言っていますけど、それも断っています。

お互いに仕事がありますので、会うのは週末がほとんどです。
子供に関わることがあった場合は、そちらを優先してもらっています。（病気、学校の行事など）


前置きが長くなってしまいましたけど。。。
同じような立場を体験された方、私の考えは間違っていますか？
お子さんに理解してもらうのに、どのくらい時間がかかりましたか？
何か心構えやアドバイスなどありましたら、教えてください。

よろしくお願いします。