義実家と実家への帰省について

結婚して最初3ヶ月ほど義実家と同居していましたが、義両親と夫の喧嘩を夫が私に当たってくるため、その後、私が家を購入し、夫婦で暮らしています。(義実家との距離は車で30分程度)その後、妊娠がわかり、つわりで動けなかった期間も長く3泊程実の母親が来て引っ越しの整理を手伝ってもらいました。(実家は新幹線4時間程)その際、最終日の前日に夫自身仕事で上手くいかないことがあったことと、私の親に引っ越しの整理を手伝ってもらった件等の不満が重なり(事前にその旨は了承済み)、母が物にあたる様子をみてしまい、母が一旦帰ったあと、父と母2人で離婚を勧めに来ました。私自身、子供が生まれた後もこのような事が続くことへの不安、これまでも物にあたり、私が泣きながら宥めていたこともあり、離婚も考えましたが、2人でもう少し頑張りたいと頭を下げて帰ってもらいました。その後、この一件もあり、里帰り出産で予定日が丁度年末だっこともあり、年末帰省する際に、里帰り出産には賛成だが夫はもう私の実家へは行きたくないとの発言がありました。私も義両親と合わないため、それなら、義実家への訪問もしなくても良いのではないかと思っているのですが、これは甘えでしょうか？また、今度ものに当たった際は私も覚悟を決めて離婚するつもりでいますが、それまで2人で頑張るつもりでいます。子供が生まれた後もそれぞれの実家に帰省するのはやはり常識外れなのでしょうか？ご回答をよろしくお願いします。