シングルファーザーとの付き合い

私・アラフォー・シングルマザー・娘（高校生） 彼・アラフォー・シングルファーザー・長女（中学生）・長男（小学4年生） 20年以上前から友人だった彼と3か月前から交際を始めました。 相談したいことはなかなか会えない・時間が取れない彼とこの先どう交際を続けていけば良いのか悩んでいます。 私は娘が高校生になったこともあり時間にも余裕が出来てきましたが彼の子供は中学生と小学生ですのでまだ大変です。 学校の送迎・習い事の送迎・食事の用意・洗濯等 私も娘が中学生までは大変だったので大変さは理解しているつもりです。 幸いなことに自宅が近所なので今はだいたい週に1回くらい数時間、彼の子供が寝てから外で会っています。 私も娘が高校生とはいえ夜は頻繁に家を空けたくないので丁度良いと言えば丁度良いのですが・・・ 彼が自営ですので平日の昼間は時間を合わせてくれることもあります。（夕方には送迎があるので戻らなくてはなりません） たまにはもっと一緒に居たい・娘が友人宅にお泊りに行ったときや合宿などの時などは朝まで一緒に居たいなーと思うようになってきてしまいました。 私は旅行が趣味なのですが、それも彼とは一緒に行けないと思うと悲しくて 彼の離婚は奥様が2人目を産んでから家事や子育てを一切やらなかったことが原因の様で子供たちが会ったり、お泊りに行ったりはしていません。 この先に楽しみ（旅行やお泊り）があれば現状も我慢しつつ少ししか会えない時間でも大切にして行こうと思えるのですが、先が見えないので悲しいです。 最初から分かっては居たことですが 口に出して言うと彼に悲しい思いをさせてしまうと思い言うこともできません。 （彼は子供たちをとても大切にしてるので尊敬しています。） お互い、子供たちが自立するまでは再婚は考えていません。