元妻が約束を守らない

バツイチ男です。 2年前に離婚しました。 離婚原因は、妻の3度目の借金です。 2度目までは、私が肩代わりしたのですが、3度目で堪忍袋の緒が切れて離婚となりました。 しかし、裁判で妻の 「夫の借金（実際は妻の借金）で苦しくなり、私も借金をしてしまった」 「借金を返すために、夫が勝手に子供のための貯金に手をつけた（実際は妻の借金の返済のため）」 等の言い分が一方的に通り、親権不適格とされて親権は妻になりました。 その際養育費（月6万）や面会交渉（月２回）を取り決めました。 養育費は今まで一度も滞ることなく支払っており、それに加えて子供の誕生日等にその分を加えて振り込んでいます。 しかし、妻はいまだに一度も面会交渉に応じません。 とにかく応じようとしないのです。 弁護士に相談したのですが、裁判をして勝ったとしても裁判所には強制的に合わせる権限はなく、 更に損害賠償も可能であるが、現在の元妻の経済状況から勝っても実際は何も取れないだろうとのことでした。 この場合、私は泣き寝入りせざるを得ないのでしょうか？ 以前、学校帰りの子供に会いに行った時、それを知った妻が警察を呼んで不審者扱いされたこともありました。 妻の言い分は、言い分自体言わないのでわかりません。 ただ、既に彼氏がいるとかではないので、多分単に 「自分のわがままで、気に入らないから会わせないだけ」 だろうと考えています。