上司から職場復帰の依頼

妊娠を機に5年勤めた小さな会社を辞めました。（社員は社長含め７人）産休制度も無く、有給すらない、契約では固定給だったのに身内のお葬式になどに出席する為休みをもらうとその分給料から引かれます。そして1日でも休んだり、早退したり、遅刻するとボーナスまで5万引かれます。 そんな会社だったので、復帰する予定もなく、育児に専念していました。子供が6ヶ月になった頃、ペアで働いていた上司からメールや電話が来るようになりました。「そろそろ復帰しない？」「子供、もう保育園預けられるでしょ」「見てくれる人いないの？」「人手が足りない」など、仕事復帰を促す連絡です。はっきり「預けられる人もいないし、保育園も予定はないので復帰は考えてません」と伝えたにも関わらず月に2.3度メールや電話が…（半年くらい続きました）いい加減断り続けるのもめんどくさくなり、着信拒否したところ、なんと社長直々に私の実家に連絡をしてきました。結婚し家にいない事もわかっているのに…。母が出て「〇〇さん、まだ復帰できないでしょうか？人手が足りなくて」といった内容です。それに加え「〇〇さんに連絡を下さいと伝えてもらえますか？」とも言っていたそうです。ここまでくると正直こわいです。 上司はなかなか気難しい癖の強い人で、今まで上司と上手くいかずにすぐ辞める人が大勢いたと聞きました。そんな中、私の事は気に入って下さったようで良くしてもらったと思っています。社長も上司が部下と上手くいかない事を悩んでいたようなので、きっと二人で話し合って実家にまで電話してきたのだと思います。私が戻れば、面倒な採用試験もなければ新人指導もない、癖の強い上司の機嫌も悪くならないですから。どうしたらいいのでしょう。再度、電話を掛け断った方がいいでしょうか？それとも無視し続けた方がいいでしょうか…？皆様の意見を聞きたいです。よろしくお願いします。