引きこもりママになってしまいました

私は３才の男児を持つ１児の母です。妊娠中に小さい一戸建てに越して来ました。息子は体も大きくて、パワフルです。体重も私の半分あり、子育て奮闘中。加と言って、たまには大きな声で叱りますが、ご近所からは、「静かだけど元気そうね」と言われるくらいなので、それほどご迷惑は掛けて無いと思います。
隣家も妊娠中に越してきて、うちと１０日違いに産まれた娘さんがいます。その娘さんは体がとても小さく病弱なので、たまに泣き声が聞こえてくる程度。ある日、隣家Aに「幼児虐待」の疑惑で市役所に通報されました。通報はその後何回か続きました。ご近所には、我が子のことを「体が大きいのは、中枢神経が発達しないから良く食べる」などと言ってるそうで、通報したのが隣家Aだということもご近所から聞きました。
先日は宅配業者が来て、「隣家Aさんに、隣から奇声が聞こえたりするけど、どんなお宅なんですか？って聞かれたよ。俺が知るわけ無いじゃんか。だから、ただの宅配業者だから知らないが、あそこのうちの奥さんは、美人だよなぁ。って言っといたよ。あははは。」と笑って言われました。
それまで隣家Aとは、挨拶を交わす程度、たまに行き会っても、数十秒会話する程度でのお付き合いでした。でも今は、極力会わないように努めています。洗濯物を干すの時も、隣家がいないか確認してから外に出ます。
子供が同じ歳なので、学校も一緒になるかと思うのですが、うちの子に怪我をさせられたと、隣家Aが言いがかりを付けてきたりするのではないかと、心配です。
どうしたら、いいでしょう。不安で、今ちょっと、私は引きこもり気味になっています。
助言をよろしくお願いします。