母子生活辛い...

結婚して６年。中学生と小学校低学年の子供が二人います。両親は他界しており頼る人もいません。当時は日々喧嘩。近隣に丸聞こえで怒ってばかりでした。元主人はお金を稼いでこない人で全てキャッシングで誤魔化し、酒浸りで現実逃避し、嘘ばかりの生活でした。主人の実家は基本的にダラシ無い為、子供に主人のようになって欲しくないという思いと不安で、少しでも子供に主人の要素が見られると叱ってしまい、手もだしてしまっていました。最低な母です。そんな苛立ちと不安で、日々怒ってばかり。怒りだすと止まらず。病んでいました。そんな声を近隣の人たちが聞き、虐待と噂が流れ、警察に通報されたこともあります。
そんな状況なのでこの地域から離れたかったのですが、子供の希望で、これ以上辛い思いをさせるのは可哀想すぎると思い、校区内の市営住宅に応募しました。しかし虐待母の噂はとどまる事がなく、その上、元主人の母と兄弟、友達が噂をばら撒き、主人の地元ということ、友達がママ友のリーダー格だったので、６年経った現在も白い目で見られ続け、仲が良いと思って喋っていたママ友にも裏切られ人間不信です。気付けば周りが全て敵になってしまい、子供二人も友達が離れ孤立してしまいました。子供二人ともが噂が原因で、仲間はずれになるようになり、情緒不安定になりました。私が転職したてで関わる時間が更に減り、上の子との様々な要因も重なってか、下の子はかなり情緒不安定で、衝撃的な内容を担任から電話を貰いました。そんな辛い思いをさせ愛情に飢えさせてしまっている事に申し訳なく、可哀想で悩んでいます。もう、この地区から離れるのが一番いいでしょうが、引っ越す費用もなく、市営住宅から市営住宅に移ることも出来ないので、家賃を払う収入もありません。転職した仕事も悩み中で、考えなくてはならない事ばかりで一人での辛さを痛感しています。どなたか良いアドバイスをお願いします。