子供との面会について

離婚して5年の娘1人の母です
娘は7歳で、3歳前に離婚
今の夫と子連れ再婚し、元夫は養育費の支払いを継続中。元夫の不貞行為が原因での離婚だった為、慰謝料もありましたが完済。
先日、元夫が、慰謝料を完済し、養育費も滞納なく支払っているので娘に会わせて欲しいと 連絡してきました。
離婚の際 作成した公正証書で、
・月1回程度 面会する事ができる
・娘の意志を尊重し、元夫と私が協議の上、面会するかどうかを決める事が出来る
とし、娘に聞いた所、
前のパパとは会いたくない
との事。その旨を元夫に伝えましたが週に1回、予定を聞かれ、面会を希望。都度、娘に確認をするのですが、やはり答えは同じ。
すると 元夫が、金銭の支払いも滞りなくしているのだし、こちらの面会出来る権利も尊重して欲しいと投げかけてきました。
慰謝料と養育費の支払いで自分の生活が厳しかった事、周りのシングルマザーに色々と相談した事等も併せて主張しています。
私としては、元夫の不貞行為がそもそもの始まりであり、当時の彼女とは結婚も見据えていると、周りの人にも漏らして居たのに、
その彼女と別れ(原因はわかりませんが)
娘に会えると思って今まで頑張ってきた
と言われても ピンと来ず、私達 母娘も、ひとり親、シングルマザーとして、色々な経験をしてきて、今の夫と出会い、やっと家族として幸せに過ごす事が出来ているので、
このまま平穏に過ごして行きたいと思っています。