離婚後、父親が多く子供の面倒を見ている場合のその後は？

海外からです。経験者の方のご意見が伺いたくて、投稿しました。 私は、今年初めに離婚しました。 子供が5歳と4歳です。元主人（現地人）と義理両親が子供を100%欲しがるのですが、 離婚のときの交わした約束では、フィフティフィフティということでした。 元主人とは目と鼻の先に住んでいて、子供は１週間交代で面倒をみていますというか、みる予定でした。 が、何かと理由をつけて、（子供の体調が悪い、わたしの母親の愛情が足りないなど）、 わたしの順番の１週間に子供を渡してくれません。または上の子だけを渡したりします。 下の子はまだ小さくて、情緒が安定していないから、元主人の方へおいておくというのです。 子供はわたしの家に来たいといいますが、かといって主人の方にいるのをいやがっているのではなく、 楽しく暮らしているようです。ちなみに元主人は実家に住んでいます。 この状態（争い）が今年の初めからずっと続いています。離婚のときの約束は、弁護士を通して行っていますが、今もまだサインをしていない状態です。主人の方がしぶっています。わたしはとても疲れてきました。 そして段々、子供にとって、何が良くて、何が悪いのか、わたしのしていることの何が正しくて正しくないのかわからなくなってきました。 今は子供が来たり来なかったりなので、フルタイムの仕事を見つけることもできません。 カジュアルなものだけしています。いっそ、週末だけわたしが面倒をみるという条件か、学期休みに面倒を見るという条件に変えようかとも思いますが、こんな小さい歳から母親不在でどんな子供に育つかも不安です。 ただ、これは取り越し苦労で、子供は母親がそばにいなくても、父親と祖父母の愛情をいっぱい受けていれば、しっかり育っていくのでしょうか？ なんかとりとめのない文章になってしまいすみません。 どなたかご意見お願いします。