家族との付き合い方がわかりません。アドバイスお願いします。

私は28歳現在バツイチで、離婚してすぐに知り合ったバツ3子供二人持ちの10歳年上の女性と知り合い、すぐに子供を授かり今現在事実婚の形で五人で暮らしているのですが、生まれる前に実家の人たちから猛反対、子供を堕ろせと言われながらも子供を出産。 生まれた後も実家との付き合いもうまく行かず、自分の妻がもう物凄く実家を嫌っていて、これ以上実家と関わるようなら別れてもいいと言われています。 実家の母親と祖母は今までの事を気にせずに仲良くしたいとのことなのですが、父親が「生まれる前に孫として認めない、他の子はいらない」と直接妻に言ってしまっていて、それに対して謝罪もありません。 それでも何回かは妻と生まれた子供だけを連れて行ってはいるのですが正直妻的には微妙な心境なようです。 他の子供を連れてこいと実家の人も言わないので連れて他の子を行く気にもなれません。 家族としてみんなで行ければまた違うと思うのですが、和気あいあいと仲良くできる気がしません。 ただ今まで育ててもらった分、実家に恩を感じてしまうのでなかなか疎遠になれず、奥さんとケンカをしてしまいます。 最近相手の実家が県外なのでそちらに移動しようかなと思っているのですが、完全に疎遠になっていいものなのか悩んでいます。 何を言っているのかわからないかもしれませんがアドバイスよろしくお願いします。