旦那の実家

結婚５年目の３歳の子供がいる３人家族のろんといいます。文章読みにくいかもしれませんが、アドバイスもらえたらと思い投稿します。

旦那の家族が嫌いです。
結婚前に凄く不愉快な思いをさせられて、どうも好きになれないし、できれば忘れたいくらい。

旦那の親は小さいときに離婚、その後再婚。産んだ母親はずっと一人で住んでる。産んだ母親と先ずは仲良くなって欲しいと言われ(旦那が再婚した母親が嫌い)旦那からしたら親だから、気にせずにちょくちょく会いに行ってました。
そうしたら、皆での会話がほぼ!!!!!前の夫の悪口で旦那はいつもの事だから話を適当に流せばいいと当時私に言ってきてました。
「あのジーさん早く死なないかね」
「暴力ばっかり振るってアザだらけだった」
「もし、息子が暴力振るったらすぐ離婚しなさい」
結婚前、結婚後なんどもこの話をされとても不愉快で旦那のお父さんにも偏見が出てきて未だに、相手側の家族が好きになれず、付き合いたいとも思いません。
旦那にも、不愉快な気持ちはハッキリ伝え、その都度大喧嘩に発展してました。自分の親の悪口を言われたら不愉快だと。

子供が大きくなり今後どんどんお里に、連れて帰りたいと笑顔で言われますが、私は行きたくないので何かを口実に避けているのが現状です。
その都度旦那は不機嫌になります。もし似たような状況にいる方がいれば、どのようにしてますか？参考に教えてほしいです。