バツイチ子持ち同士の恋愛と再婚

私35歳、長男16歳、長女13歳、次女9歳 離婚後8年、自営業、元夫再婚済 彼47歳、長女14歳、次女12歳 妻の浮気にて離婚後10年、それぞれ1人ずつ引き取っていましたが、元妻が病死の為3年前より3人暮らし、自営業、結婚願望なし 仕事関係で半年前に知り合いました。保育所が同じだった為、私は彼のことは10年前から知っています。お互い子供がいる為、月に1～2回程度短時間のデートをして来ました。子供達同士を合わせるつもりは最初は無かったのですが、娘同士が歳が近く、趣味や好きなアイドルが同じなので、お土産をやり取りしていくうちに、一緒に遊びたいとの流れから、お互いの家を泊まるようになりました。泊まるのは子供達のみです。5人はとても仲が良く、子供達も一緒に住みたいと言っています。彼は自営業で自炊もしないので、彼の娘達は一緒にご飯を作ることや、家で皆でご飯を食べたいようです。 私も、彼の娘達を大事にしたいと思っているのですが、自分の子供達のことが疎かにならないか、中途半端に世話を焼いて良いのか等、正直悩んでおります。彼は相続で揉めたくないとのことから、再婚は望んでいないようです。ただ付き合っているだけの関係なら、そこまでしなくていいのではと周りからは言われます。 私は、今すぐではなくて良いので、子供達が大人になってから出来れば再婚したいと考えています。彼の娘達は、一緒に住みたい、ずっと一緒にいてと言ってくれるし、私の子供達もそれを望んでいますが、お互い一軒家を持ち、5人となると一人一人の部屋はないので、そこも悩んでいます。 アドバイスを頂けましたら嬉しいです。 よろしくお願い致します。、