離婚前の口約束について（確定申告）

今後結婚生活を送る上で、お金（ギャンブル・借金）の価値観の不一致、 生活サイクルの歪みで、この方と何十年も居られない。と思い 約2年半の結婚生活に12月頭で終止符を打ちました。（11月頭から話し合いの末） 元夫は、私の気持ちが戻らないのなら・・と渋々印を押した印象です。 元夫は一昨年から個人事業主になりました。 離婚に向けた話し合いの際に、 「確定申告は、Ｒが手伝ってね。俺はそれを見たり手伝って、次から一人でやるから。」 と離婚の話し合いの時に言っていました。（公的な約束ではない） 私は、もう会いたくないので「予定が合えばね～」と軽く流していました。 ※昨年は私がやったので元夫は確定申告の知識はゼロに等しいです。 　なお、個人事業主の事務的な位置ではなく、只、 　「こういうのは妻の仕事だよ。やってね、宜しくね。みたいな形で頼まれました。 ※話合いの際、初めに拒否の言葉を出した際は、 　「それは身勝手過ぎないか？急に離婚も持ち出して無責任じゃない？」と言われたので 　それからは拒否の言葉を口にしませんでした。） 12月過ぎも2週間に1度位の頻度で、忘れ物を取りに行ったり 引き落としの口座の切り替えなどで２・３回顔を合わせました。 その際も「確定申告よろしくね～」と言われています。 今現在は連絡は全く取っておりません。 近々、元夫から連絡があると思うのですが、どうハッキリ断ればいいでしょうか。 約束と違うじゃないか　と逆上されそうで怖いです。 私の実家は知りません（引っ越ししました）が、職場先は知っています。 「行けない。ごめんね。」で済めばいいし、 もう関係も切れているので怒られる筋もないと思うのですが、 もし逆上された場合、何かいい案あればご教示ください。