子供との面会交流について

離婚して、3歳の娘と離れて暮らしています。
養育費、面会交流、離婚時に夫婦で書面で取り決めました。
公正証書は作っていません。

困っているのは、ほとんど子供に会えないことです。

離婚１ヶ月目は、約束通り面会交流させてもらっていましたが、
２ヶ月目以降、５ヶ月目の今まで、子供に会えたのは１回。

その１回も、保育園の運動会開催通知が開催直前にFAXで送られてきて、
私が出向き、遠くから離れて子供の姿を見た程度なので、
面会交流とは言えないかもしれません。
元妻は、元義母と結託し、娘をガードして、私を近寄らせないようにしている
ように見えました。実際、近寄りがたかったです。
ちなみに、元義母は、元妻が幼少期に離婚しており、元妻は父親の記憶が
ないそうです。また、会ったこともなければ、顔も知らないそうです。

小学校低学年くらいまでは、元妻が面会交流する場所に子供を連れてきて、
私が引取り、子供が帰りたくなったり、夕方になったりしたら
私が元妻に連絡し、迎えに来てもらうようにする約束でした。

ところが、２ヶ月目以降、子供が会いたがらないことを理由に、
元妻は、面会交流を断るようになりました。
本当に子供の気が向かないのであれば、寂しいですが、やむを得ないと思いますが、
そうではないように思えています。