バツイチ彼氏との付き合い方

1人の女の子の父親である経営者の男性とお付き合いしています。子供は普段は前妻と暮らしています。現在彼の持ち家に半同棲という形です。子供は３日に一度や週末などお泊まりで来るのですが、当日の朝や前の日に、ごめん、今日子供が来るかもしれない。と言われ、毎回私物を全て移動させ形跡をなくします。子供は父親が女の人と仲良くすることに嫉妬心を抱くようで、隠さなければいけない状態です。理解してお付き合いをしていかなければと彼にはできるだけ心情を悟られないよう接しているのですが私は正直毎回苦しくなります。たまに顔に出てしまうのか帰り際に機嫌を取るようなそぶりを見せます。彼が子供といる日は1人でいることがしんどく感じてしまいます。会社の経営者でもある彼は従業員のこと、子供のこと、私のことでいっぱいいっぱいだしお付き合いをしていることが負担になっているように感じてしまいます。デートや旅行中も頭の中で子供に対しての罪悪感がどうしてもあるそうです。私は30歳で去年まで長年生活してきた彼氏と別れ年齢的に結婚や子供を持つということを強く考えてしまいます。お付き合いする前、バツイチ子持ち、経営者ということに対して、一緒にいれる時間が少なそう、大切な会社、子供がいる彼の中に存在することに抵抗がありました。しかし彼の魅力に惹かれてしまい、今は付き合っていきたいので理解しなければと必死です。結婚は子供が大きくならないと出来ないとも言われていて、このままではこの先どうなってしまうのかと毎日が不安です。仕事などで落ちていると俺がいるからなんとでもなる大丈夫などと言ってくれるのですが、彼は会社と子供が大事だと思うと自分でなんとかしないと！と相談したり頼ることができません。このままお付き合いしていくのは難しいでしょうか。また、上手く付き合っていく方法はないでしょうか。娘さんは6歳です。よろしくお願いいたします。