元夫と子の面会について

相談させてください。
私はシングルマザーです。
子どもが5歳の時に離婚し、現在は10歳です。
子どもは発達障害があり小学校の支援級に在籍しています。

離婚の原因は元夫の性格のだらし無さ(金銭的な事も含む)で、私から離婚を告げました。

離婚時、面会の回数等は決めずに「会いたくなったら連絡してください。こちらは、子どもが会いたいと言ったら連絡します。」と制限なく会わせる取り決めをしたのですが、離婚してから連絡がありません。

養育費は取り決めましたが、予想通り振り込まれず…
すぐに給料を差し押さえたのが応えたようで、自動振込にしてくれました。
(家庭裁判所の方からは、1度警告をしてから差し押さえた方が良い、とアドバイスをもらいましたが、これまでの行いを考えると改善するとは思えなかったので、速攻で給料を差し押さえました。)
それからは毎月振り込まれています。

離婚後一度だけ、元夫から連絡が来たことがありましたが、それは引越しをした。という連絡でした。
(離婚時の取り決めでお互い伝えるように決めました。)
その時に養育費のお礼と、子どもの写真を送りました。(特に返信は無かったです。)

前置きがながくなりましたが、
最近子どもが「前に自分にもお父さんがいたね、会いたいね」と言うようになりました。
離婚する時「お母さんとお父さんは、さよならする事になってしまったけど、会いたくなったらいつでもお母さんに言ってね」と伝えてあったのですが、10歳になって会いたいという気持ちが出てきたようです。
会わせてあげたいのですが、離婚後面会の連絡もしなかった元夫に断られるかな…もし会えても、子どもが傷つかないかな…と私が悩んでしまっています。

アドバイスやご意見をいただけますと幸いです。
よろしくお願い致します。