お正月、別居中の夫の実家へ行くことは？

初めて投稿させて頂きます。 夫が3年前それまで勤めていた会社の委託を受けつつ自営業を始めましたが自営の方の赤字が減らず収入は無く、委託で受けている仕事の収入のみ。現在別居1年半程になります。別居のきっかけは夫の女性関係で、何度か今後について話し合っていますが考え方の違いが浮き彫りになり修復は望めないだろうと思っています。夫の両親も私の母もこの事は知っています。 現在4歳の子供がいて2年前から保育園や幼稚園を申し込んでいますが待機児童のまま今に至っています。子供が生まれ専業主婦になってからは母と祖母の介助をしていたので、母が介助代として数万円援助してくれている他、自宅での内職と保険を解約した際の返戻金、学生の頃積み立てていた定期預金を崩して生活しています。 私としては仮に離婚になったとしても子供とは会って欲しかったので夫にそのようにお願いしましたが「離婚してもしなくてもどちらでも良いが離婚したら子供には二度と会うつもりはない、別居中も離婚の可能性があるから会わない」と断られてしまいました。義母はたとえ離婚したとしても子供にとって自分は祖母であることは変わらない、そもそも子供がいるのに離婚を考えるなんておかしいと言われています。 昨年のお正月は私と子供の二人で夫の実家へ行ったのですが、義父は不機嫌で目も合わさない状態でした。子供にはとても会いたがってくれていたようなので嬉しかったのですが私が行くことで折角のお正月が台無しになると思うと今年行くのが怖いです。私の母と祖母はお正月の訪問は妻である内は当然の義務だと言われているので今までそのように思っていましたが向こうのご両親はどう思っているのか不安です。 今の状態でお正月の訪問はやめた方がいいのでしょうか？特に夫側の家族としての意見を聞かせて頂けると助かります。 混乱していて乱文となり申し訳ありません。