子供に別れた父親の話をどうするか

子供が産まれてしばらくして別居、1年以内に離婚しました。

理由は子供が産まれた日に喜ぶどころか立会出産出来なかったことにキレて、過去の気に入らなかったことを言われ続けました。
出産する日にいきなり緊急帝王切開になったので立会なんて無理でしたし、手術後のしんどい中で言われた気に入らなかった事もかなり理不尽なことでしたがその時はホルモンバランスの変化のせいか泣きながら謝ることしか出来ませんでした。
そのまま退院した後は産後うつになり、相手に産後うつの事を説明しました。
しかし相手は自分のほうがつらい、立会出産出来なかったのが許せない、なんでうつの状態から前みたいに戻れないのかと責められかなり精神的に追い詰められました。

その後耐えられなくなり別居しましたが、２ヶ月以内に帰ってこないなら離婚だと言われ無理だったので離婚を決意しました。

しかし離婚することになると相手の両親には私の勝手な理由で離婚する、自分は離婚なんてするつもりが無かったなど言いだし、相手の両親との話し合いにもかなり苦戦し（孫は渡さないなど）話し合うことに疲れ、結局養育費もちゃんと貰わないことを条件に離婚しました。
面会交流は月１回程度と決まったのですが離婚後は相手の気分次第で来る頻度が変わり年に２回や来ない時もあります。
子供はまだ幼いのであまりよく分かっておらず知らない人にたまに預けられると感じてるみたいです。（最初はかなり泣きます）
もう少し成長すれば父親のことが分かるようになって来ると思うのでその時はどのように説明すべきでしょうか？
今後相手が面会交流し続けるかも不明です。
会いに来る理由は両親が会いたがっているからとのこと。
友達の父親を見て父親という存在に憧れるようになるかもしれませんが、変に期待させることも言いづらいです。

大きくなって離婚について聞いてきたときは大まかなことは話そうと思っています。