子持ち彼氏との付き合い

私の彼には5歳になる女の子の子どもがいます。子供の母親とは籍は入れてません。性格の不一致で別れに至ったそうです。復縁はないです。認知しており養育費も支払っています。

本題ですが、普段は母親が子供を見ていて彼は土曜、日曜に子供に会っています。
私との時間は日曜の夜8時くらい～12時くらいです。子供とは土曜も日曜も会っているのに私との時間が少しで寂しいと感じてしまいます。
私が寂しくないように彼は平日毎日１時間くらい電話をしてくれたり月に1度仕事を休んで私とデートしてくれますが、それでも寂しくなる時があります。
少しでも一緒にいられるように今同棲資金をお互いに貯めています。ですが同棲しても週末は子供に会いにいくだろうと考えて寂しいのは変わらないのではと思ってしまいます。
子供に会うことは理解してますし、嫌な気持ちはありません。私との時間が少ないのが寂しいだけです。もう少し私との時間を作って欲しいと言ってもいいでしょうか？
ネガディブになってしまう私がいけないんでしょうけど、色々考えて落ち込んでしまいます。独身の男性を探したほうがいいと言われるかもしれませんが、出来れば彼と一緒になりたいです。
子持ち彼氏または旦那さんと一緒になった方、乗り越えるアドバイスなどいただけたら助かります。