娘３人は元夫の実家の仏事ぐらいには行かせた方がいい…？

結婚して18年目に夫の借金癖（ギャンブル）が理由で娘３人を連れて離婚しました。
結婚２年目に500万円の借金が判明。問いただすと、独身時代の給料は全額実家の母親に渡していて
そこから５万円しかもらっていなかった、足りなかったと。私の貯金（結婚資金）と結婚してからの貯金とで一括返済。でもそれからも『仕事で立替しないといけない』等いろいろな理由をつけては家のお金を持ち出したり、銀行等から限度額いっぱい借り、借金を借金で返すような状態。夫は月15万程を自分の小遣いとし、残りは家に入れていたので迷惑はかけてないと言い張り、幸い私も正社員で収入があり生活はできていました。ただ、ある日夫の友人複数から『夫に貸してる金を返してほしい』と連絡が。合計400万円弱。金融機関にはあいかわらず限度額いっぱいの借入。

その友人達には私から返済をすると同時に、離婚の手続きを進めました。
その途中、はたと気づいたことが…。結婚する時に夫が借金をしていることを義母（今は故人）は知っていたということを…。知っていたのに、こちらがびっくりするような立派な結納を準備し、結婚式の費用も折半で…という私の親からの申し出も『うち（夫側）が全額持つ』と譲らなかったのは、一体何だったんだ…と。（夫の独身時代の給料を結納・結婚式に当てたのはわかりますが）

義父には、数年前に、夫には結婚前からの借金があったこと、今も借金を続けていることは私から話をし、義父からも厳しく夫に話をしたようですが何も変わらずでした。で、離婚したことを義父に報告すると『借金はわしが０にした。もう（息子は）悪くない。だから嫁（私）と孫（娘３人）は帰ってくるべき』との言葉に完璧に気持ちが折れました。ただ娘３人は、義父母には本当にかわいがってもらいました。で、トピタイトルのように迷いがあります。みなさんのご意見いただけたらありがたいです。