元夫に会いたくない

40代女性です。
小学2年生の娘が1人いるシングルマザーです。
元夫とは約1年前に離婚しました。
離婚原因は、娘が生まれてから夫婦関係が悪くなり、それに耐えられなくなったと夫から急に離婚したいと言われ、話し合いにも応じてもらえず、夫の意思があまりに固かったので、離婚後良い関係を築く為にもこれ以上揉めても良くないと思い、私が諦める形で離婚に同意しました。
離婚は調停離婚で財産分与、養育費、親権、面会頻度などしっかり取り決めています。
離婚までもすったもんだありましたが、最後はお互いこれからは娘の父と母として友好な関係を新しく築いていこう、そう話していたのですが、、、

問題はここからです。
離婚後数ヶ月して、元夫の不倫を見つけてしまったのです。
私たちの離婚が成立する一年半前からの付き合いでした。そして私と娘が元夫と暮らしていたマンションから引っ越した翌月、その不倫相手だった女性がマンションに引っ越してきており、その数ヶ月後に元夫はその女性と再婚しました。
不倫の事実を知らずに離婚したので、それが離婚の直接の原因ではないにせよ、私にとっては夫婦仲がうまくいっていなかったとはいえ、長年連れ添った相手であり、家族として、娘の父として心から信頼していた人からの裏切りは本当にショックで、今まで築いてきたもの全てが崩れ落ちていくようなそんな思いでした。

2人でたくさん何度も話し合いをし、この事は私と元夫の問題であって、娘には一切関係ない、この事を娘と父親の関係に影響させるべきではないという意見で同意し、元々の約束通り、月に1回元夫が娘に会いに我が家に来ます。
パパとママと3人で過ごしたいという娘の願いを叶える為、3人で出かけ、食事をし、と側から見れば家族ごっこをしているわけですが、娘が幸せなら私はそれで良いと思って全てを我慢していたのですが、だんだん私が辛くなってきました。