義母の意見を聞くべき?

ご覧いただきありがとうございます。

私は去年結婚し、今5ヶ月の息子がいます。主人はバツイチで前妻との間に二人の男の子がいます。今は前妻が親権を持ち前妻と一緒に住んでいます。(中１と小６)
結婚前から子どもがいるという事は知っていましたし、主人が会いに行ったり、実家に遊びに来たり義理の両親と旅行に行ったりしても全く構いません。
義理の両親からすれば可愛い初孫達ですから

しかし、お正月お盆などの親戚が集まる席で時間をずらしたりして、私と子ども達が会わないようにして欲しいんです。私は正直前の子ども達に会うのは、前の子ども達が自分の意思で「パパの新しい奥さんに会いたい」と言ってくれた時で良いと思っています。今は息子には会いたがっていますが私には興味がないようです。
しかし、義母は「今までずっと集まりには連れて行っていたし、パパが再婚しても変わらず連れて行きたい。再婚して前の子ども達を私に会わないようにするのは子ども達を蔑ろにしている。この先ずっと会わないつもり?」と言っています。主人が私と結婚する前は頻繁連れて行ってたようで...

義理の両親は話さなくても顔を合わせなくても良いからその場に一緒に居させたいようなんですが、私にはそれが全く理解できません。今度集まりがあるのですが主人が「妻の為にその日ではなく別の日に挨拶に行く」と言うと「前の子ども達と会いたくないのが親戚にバレバレだから行かなくていい。」と言われてしまいました。

私はどうしたらいいのでしょうか?解決策があればお願い致します。