出産後、実家に行ってない事を義理の親に言うべきか。

私は２３歳で１歳の子供がいる専業主婦です。
アパートに住んでいて実家までは徒歩１０分程です。出産前から実家とは絶縁状態です。孫にも合わせていません。
義理の両親の家は車で３０分程で月１、２回行きます。行くたびに『向こうの御両家も成長喜んでるでしょ。近くて良いねぇ。』等言われ私がよく実家に行ってると思っている様です。（全く嫌味な感じではありません。）その度に笑顔で『そうですねぇ～』と言って流してます。
主人は次男ですが都合上いずれ同居する予定です。今後の為にもちゃんと実態を伝えとくべきなのでしょうか？
絶縁の理由は実父の隠してた借金や浮気等で義理の親には絶対に知られたくありません。でも嘘をつくたびに心苦しいです。
夫は全て知っていて私に話しを合わせてくれています。
理由は隠して上手く伝えるべきか、このままでいくか悩んでます。
どうかアドバイスよろしくお願いします。