親と同居から、別居したのだけれど。

義理の両親と同居して１０年目で、いろいろあって
旦那と子供を連れて別居に至っています。
特に姑さんと折りが合わず、嫌味やバカにした態度、
近所へ私の悪口をあることないこと、想像の範囲で
言いふらされたり、妊娠中にお腹をどつかれたり
（度重なる流産経験）、健康を害してまで同居する
意味がないと判断したからです。
ところが、この姑さんの性格は近所でも評判で、
「嫁いびり、息子夫婦を追い出した」レッテルをはられるのが
嫌で、「嫁は体を壊して実家に帰って、実母に子供を
あずけて育ててもらっている」と、嘘の噂を近所に
ひろめているということを先日、知りました。
本当は、元同居していた義理の両親の家から徒歩５分の
アパートに住んでいて（旦那の職場の関係もあり）、
旦那は短期出張が多く、産まれたばかりの赤ちゃんを
抱えて必死で（ほぼ母子家庭のような状態）育児を
しているのが現状です。
先日、近所のスーパーへ買い物に行ったとき、元ご近所の
おばちゃんに会い、「いつまでも実家に頼ってばかりじゃ
大人になれないよ、子育て自分でできないのなら、
子供は産むな、子供を義母さんにあずけて働け、
孫に会えない義母さんがかわいそう・・・」と小言を言われました。
本当のことを知らないからこういうことを言ってくるのは
わかるけど、一生懸命子育てをしている私にとっては
とても腹の立つ言葉で、今住んでいる地域では
楽しくきもちよく子育てすることができないんじゃないかと
不安を感じています。
やはり、もう少し離れた環境に引っ越すべきでしょうか？
住んでいる地域が田舎なので、噂も広まりやすく、子供への
影響も心配です。