離別した親との面会について

私は29歳で昨年離婚した元妻との間に2歳の娘がいます。
離婚原因はお互いのすれ違いに起因する元妻の不倫です。
離婚した際の約束で、元妻が子供の親権を持ち、私が慰謝料を貰う・月々子供へ養育費を払っています。
元妻・子供は片道6時間かかる実家に住んでおり、子供に月1くらいの頻度で会いに行っています。

まだ親が離婚しているということを理解できない年齢のためか、会ったときは楽しくはしゃいでいるので、
子供が大きくなり、私と会いたくないと言われるまでは会うことを続けるつもりです。

しかし、周囲の意見の一部では、元妻は彼氏(不倫相手)がいて将来結婚するつもりならば、
子供にとっては実父と継父と二人になる可能性があり、子供の負担になる(混乱する)から会わない方が子供のためなのでは？と、言われています。


子供としては、育てていない親と会うことは感情的に嬉しいものなのでしょうか？それとも、会いたくないものなのでしょうか？
見たら同じ境遇の友人がいないため、子供が大きくなったらどのように思うのか相談できずにいます。

両親が離婚された方で、親と定期的に会っていた方の心境を教えて頂ければと思いトピを立てました。