離婚後の扶養

離婚後の障害児の子供の税法上の扶養をつけたいと元夫から言われて困っています。
離婚時にこちらにつけるから修正するように言ってきました。ただ、私の収入が自分より低いことはわかっているため年末調整をしてから、確定申告時に検討しようみたいに言われてここまできてしまいました。
現在公営住宅に入居しているので、家賃の算出にも影響すること、児童扶養手当にも影響することは事前に伝えています。
今日新たにひとり親で障害手帳もちの世帯として住宅の減免申請もできることが分かりました。
それを理由にしたいと思っているのですが、他にも説得できる部分があればどなたか教えてください。
元夫は、理論的に話してくるタイプです。きちんとした証明がついた説明をしないと納得できないためすごく不安です。
簡単に親権も実質的に扶養しているのも私なのだから！と言いたいのですが、知識もあり養育費を払っていると扶養をつけられるということも知っています。
税務署、役所にも相談しましたが、双方で話し合ってください。ダブった申告となれば秋ごろ双方に通知が届き回答なければ、税法上での判断つまり所得の多い元夫の方につけることになると言われました。
困っています。どなたかお知恵をください。