面会交渉の拒否

はじめまして。 私35歳、妻32歳。7歳と5歳の子供。 そして、今年の秋、離婚となりました。 親権は元妻です。 面会交渉権は月1回。ただし年内は子供側の生活の安定のため面会なし。 養育費や財産分与も全て文章として双方署名捺印しています。（公正証書にはしていません） 現時点で、養育費は全て支払ってきました。 そして来年からの面会の日程を調整するため連絡したところ 「合わせる気はない。子供たちも会いたくないと言っている」 と拒絶の返答がきました。 疑問点として （１）妻がお金に困った際、子供を連れてきて養育費前借を言ってきたが、その時は変化なし。 （２）離婚直前まで、子供たちとは特にいさかいなく、それまでと同じように遊んだりしていた。 （３その後の会ってもいない２カ月程度で、なぜ子供たちの態度が180度変わるのか？ があったため、その点尋ねたところ 「とにかく会いたくないと言っているから会わせない」 の一点張りでした。 思い当たる点として、学校行事の見学は「私が見学する権利は拒否しない」と合意していたため、先日の子供の学校行事を見学した際、偶然妻と鉢合わせて、その時あきらかに不快な顔をしていたことくらいです（なんであんたがここにいるんだと言うような顔） 面会交渉については、「元妻は妨害をしない。実現に向けて最大限努力する」と先の文章で合意しています。 子供たちが会いたくないと言っているということは 「元妻が嘘をついて拒否している」 「子供たちに私の悪口を吹き込んでいる」 くらいしか実際考えられません。 こういう場合、どのように対処し、面会交渉を実現させていくべきでしょうか。 あまり子供たちには負担をかけたくありません。 また、合意文章で面会交渉妨害（拒否）の場合のペナルティは明記（月３万の違約金）しています。