元夫の行動について

私はどうしたらいいのかわかりません。６年前にうつ病による夫婦仲の悪化の為、離婚しました。元夫は最後まで離婚に反対しており、離婚するならお前だけ出ていけと二人の子供達を残し、トランク１つで家を出ました。その後、元夫は当時上の子は８歳、下の子４歳を連れて実家に帰り、義母と共に生活をしていました。 上の子が小学６年になった時、実家から出で同じ市内で３人で暮らすようになったのですがその頃から上の子の反抗的な態度が表面化したようです。私はうつ病の治療と自分の生活で手一杯でしたが、誕生日とクリスマスには必ずプレゼント送り、手紙は必ず返信し出来ることはしていたつもりです。元夫から連絡が来るのはいまなりで詳しい説明もなく「子供が反抗的だ。どうにかしてくれ！母親だろ」と電話がきます。そのくせ会いにいこうとすると「もう遅い！余計なことするな」と言われます。 公的証書にも離婚後子供と会うことは承諾済ですし、親権変更を届け出ることも考えましたが、虐待しているわけでもないし、また親の都合により環境が変わるのも可哀想だと思い、いろんな気持ちを飲み込み静閑していたのですが、また電話がきています。自分に都合が悪くなるとどうにかしとくれと言われ何かしようとすると気に入らないと文句を言われます。都合が良すぎると思う私は薄情者でしょうか？また私はこれから子供達のためにどうするのがいいと思いますか？