義実家に子供を連れて行きたくない

昨年男の子を出産しました。義実家に子どもを会わせに行くのが憂鬱です。以下、これまでの経緯です。 夫は自営業で義父と一緒に仕事をしています。普段から嫌味を言われたりモラハラ的な発言が2人の時にだけ多いそうです。息子が生まれる前、義父の機嫌が悪かったからなのか「お前ら(産まれてくる子どものことも含めて)のことなんかどうでもいい」と言ったそうです。 しかしいざ産まれると、可愛くて仕方ないようで週に何度か「会いたいなぁ」と言われるそうです。 義父には色々お世話になっていますし、感謝していることも多く出産するまでは義実家にもよく行っていたのですが このような発言があり私が息子にもいつか嫌なことを言うんじゃないかと思い2人きりにしたり会わせたりしたくないなぁ…と思うようになってしまいました。 最近もなかなか会えないからか夫に 「孫なんていないみたいだ」と言ったようなんです。 義実家は歩いて5分ほどの距離ですが 今は2週間に1度ぐらい夫が義実家に連れて行ってくれてます。私は気持ちが追いつかず一緒に行ってません。 義父以外には会わせたいなぁと思えるのですが… 悪い人ではないんですが数々の発言で 私が嫌になってしまっています。 会うと無言で息子に手を広げてきて 抱っこさせてという様にさせるのも嫌で顔をすごく近づけられるのも嫌だと思ってしまいます。 こんな気持ちになってはいけないとは思いつつ憂鬱な気持ちになってしまいます。 でも将来息子に夫への発言のようなことが出てきたら嫌だなぁと思ってしまうので、泊まりに来てねと言われたこともあるのですが子供だけではお泊まりさせたくないと思っています。 こんな気持ちはいつか無くなるのでしょうか…。 まとまりがなくすみません。最近このことで夫とも話し合い疲れてしまったので愚痴投稿のようなものです。長文失礼しました。