元夫の過干渉ですか…?

昨年離婚して、元夫は他方で暮らしています。 1ヶ月に1回子どもに面会にやってくるのですが、苦痛でなりません。 というのも、元夫は既婚時にも子どもの世話は全くといっていいほどしておらず、子どもが乳児のときは夜泣きやおむつ替えに「ちょっとどうにかして」と育児家事仕事で疲れている体を無理矢理揺り起こされ、昼間にも子どもがくずったりしてもおやすことは殆どなく、ちょっと気が向いたときに抱っこして、泣けば私に預けてくるような状態でした。 これが上の子。下の子に至っては、元夫の被害妄想（浮気して、出来たのでは。これがきっかけともなって別れたのですが本当にまったくの事実無根で、今でも悔しいですが別れてせいせいしています）で、怒りと屈辱で会わせたくなくて面会していません。 0歳で別れたので本人もまったく覚えていませんので。 上の子は自分の子だと確信しており、そして独りになって寂しいのかも知れませんが、面会するたびに子どもに誘導尋問のように探りを入れて、私の対応が悪いのでは、というようなところをあげ連ねて電話してきます。 そういうところが嫌で離婚に応じたのに、離婚してまで…他人になった人に偉そうな口調であれこれとやかく言われるのは本当に不愉快です。 子どもがそんなに心配なら、既婚時にもっとかまってやれば良かったんじゃないの?と思わずにはいられません。 この干渉をどうにかしたいのですが良い方法はないでしょうか。