娘との面会交流

2歳4ヶ月になる娘との面会交流についてご質問です。 昨年4月に別居、一年経過した今年の4月に離婚しました。 原因は私が結婚当初、家を出たという実感がなく実家に振り回されていたことと元妻が実家依存であり事あるごとに実家に戻っていたことが原因でした（私の仕事に夜勤があるのと賃貸1Fでの生活が怖いからという理由から） 妻実家は歩いても15～20分ぐらいの距離。 別居中の間に何とか関係改善を試みようとしたのですが、今年の四月に妻から「生理的に無理」と、妻のご両親から「新しい人を探したほうがいい」といわれ一人で関係改善に努めるも空しく離婚という形になりました。 親権は元妻が絶対渡すつもりはない。といいはり、仮にこちらが親権を取れても元妻が何をしでかすか（子供は産んだ私のものという態度）わからないので大人しく渡し、養育費も少ないながら毎月払っています、そして元妻ご両親の力添えもあり月1回の面会交流と月1回に限りご両親の自営職場にて計2回の面会をしていただけることになりました。 ご両親は「別れてもあの子の父親は○○君だから、こちらの仕事の都合もあるけど事前に連絡くれたら会いにきてやってください」との事ですが、元妻が最近になり「いつまで面会を続けるの？」と態度に出てくるようになりました。 幸い、別居期間中から娘には面会できており娘も「お父さんは夕方帰る」というのを理解しているようですが、私が面会に生かさせてもらうと私の膝に座ったまま動かず、絵本や抱っこをせがんで来てはそれに答える形です。 面会は娘が自分から「パパとは会わない」という意思確認ができるまでは続けるように話し合い、法的な効力はないもののお互い納得した上での決まりごとを書面にして持っています。 私自身、まだ前に進めずにいるのですが出来る事なら娘が許す限りは会いたいと思っていますが、このまま続けてもいいのか悩んでいます。