子供に話す時期について悩んでいます

そろそろ再婚を考えている者です。
(そろそろと言っても早くても今年の終わり頃～来年の予定)
バツ１で離婚して３年。
離婚原因は、元夫の不倫及び、不倫相手との間に子供が出来た事や、DV、ギャンブル等です。
子供には直接手を挙げる事はありませんでしたが、子供が座っている椅子を蹴ったりなどありました。

現在お付き合いしている方とは、付き合って１年と少し経ちました。

子供は現在４歳で、１歳の時に離婚している為、父親の顔などは知りません。

再婚を考えた理由は、相手のご家族に、私たち(私と子供)を受け入れて貰え、ご家族の方から、結婚を早くしないのかどうかと言って頂けてる点と
何よりの理由は、私や彼からは話を持ちかけていないのに、彼がお父さんだったらいいのにと自然と言ってきた点です。

離婚を決意した時から、ずっと悩んできた事でもありますが、この先再婚したら本当の父親の存在を、いつ話すべきなのかどうか・・・。
大きくなり、もし父親がどういった人なのか聞かれたら、どのように答えたら良いか、いつも考えています。

実際、子供がいる状態で再婚された方など、こういう時に話したなど、経験談をお聞かせ頂けたらと思います。

どうぞ宜しくお願い致します。