自分勝手過ぎる元上司

パート主婦です。半年前に数年間勤めたけれど、家庭の事情もありましたが、職場環境に限界を感じ、退職しました。
そこの元上司なんですが、退職後も時々メールがきていたのですが、もう辞めているし、極力関わりは避けたかったので、返信しなくても問題無さそうな内容のメールはあえてスルーすると「なんで無視するんですか？私あなたに無視されるような事しましたか?」みたいなメールがきたりと中々関わりが絶てませんでした。
そんな中ある日復帰の打診をされましたが、復帰するつもりはありませんでしたので、
「家庭の事情もあり、時間も不規則な前職には戻るのは難しく、今は時間等に融通がきく、知人の会社で短時間ではありますが、働いております。ご協力出来ず申し訳ございません。」
と正直に伝えたところ、「それってワタシが、融通が聞かない上司って事ですか?(笑)」
とかなりご立腹の様子で、何で相談してくれなかったの?勝手に新しい仕事決めちゃうなんてなんだかな～ってかんじ、がっかりなんですけど。
とひたすら文句のメールが送られてきました。
私は、在籍時から時間の相談はしてきましたし、元上司はその時はそんなワガママ通用する訳無いとハネつけてきたのです。
そんなにワガママな内容では無かったのですが。
辞める時も、なるべく他の人に迷惑にならないように何ヵ月も前に申告して、不十分だったかもしれませんが、出来る限りの引き継ぎをして辞めました。
家の事情が落ち着いてからの復帰も打診されましたが、「落ち着く時期も未定なので、復帰は難しいので、退職したく思います。」ときちんと伝えておりました。
在籍時は、自分で言うのも何ですが精一杯頑張り職場に貢献してきたつもりでしたし、
退職時もなるべく職場に負担が残らない用希望日から延長になっても協力しました。
なのに、何で辞めた後までそんな文句をいわれないといけないのか理解に苦しみます。