里帰りと親子関係について。

私は今２人目妊娠中で１歳５ヶ月の娘がいます。
１人目の時も今回も現状から母に「里帰りしなさい。」と言われています。
ですが自分のなかで気が進みません。

現状を説明すると私が住んでいるところは地元ではなく母や義両親とは他県。
義両親はパチ屋入り浸りなのであまり頻繁に主人の実家には行きません。
近所は小学生以下の子供はおらずお年寄りが多く、ママ友等はいません。
主人は娘が生まれてから今まで休日に１日家にいたことはなく朝から夜まで遊びまわっており娘を抱くことすら嫌がる状態。
それでも１人目は主人に里帰りされると困ると言われたのと気が進まずで里帰りしていません。
今まで１人の育児をしています。

里帰りに気が進まない理由は母に小さいころからの暴言や高校生の時に全てを放棄（学費、通学費、食費、生活費、雑費などお金一切出さない）されバイト代だけで生活することになりましたがそこから家賃請求され食費まで回らなくなり栄養失調で倒れた経験が今もずっと引っかかっているためです。
就職し離れた瞬間から何事もなかったように接してきて今は娘を見せたりはします。
普通にしてるように見せてますが怖いのです、母との接し方わからないのです。
過去の経験で自分の子供にはしちゃいけないことを学べたから決して恨んではいません。
母は心から笑っていてもらいたいし喜んでもらいたいけど、どうしてもその過去に縛られ母の前でうまく笑えないし、頼るということができず結果自分が潰れ自己嫌悪になります。

メールが来るたびに里帰りしなさいと言われるので母も来てほしいのかなと思います。
なのできっと自分が変わればいろんなことがよくなるんだと思います。
どうしたら過去に縛られる自分から変われるでしょうか。
長文、乱文で申し訳ありません。