離婚しても隣人ってどうでしょうか？

40歳2児の母です。子供は15歳、13歳。現在主人との離婚を考えてます。
理由は夫の浮気で相手の女に子供ができた事。その相手の女は主人の子を妊娠していて現在8ヶ月（最近その事が判明しました。）
しかしその女は別の男性と結婚が決まっているそうです。もう許せないので離婚しようと思ってますが、問題が今主人の実家の隣に家を建てていてローン返済中です。
建物は共有名義　土地は舅の名義です。義父母には離婚については話はしていて、ずっとそこに住んだらいいといってくれています。
土地も孫に譲ると言ってくれています。ローン返済はいまのままにしていたらいいとも言ってくれます。
しかし私はずっと住み続けるのなら建物は私の名義にしてローンの返済をしてもいいかな？とは思っています。（なんとか払っていけそうな金額です。）
出ていって、アパートの家賃を払いつづけるくらいなら　ローンを払っていって自分の家になる方がいいかな？とおもいますし老後に住む家もないのも困るしと思っています。
私の実家には戻れません。ずっとここに住むのは将来を見据えると住みにくい？のではとも思います。夫は今家から出て行きましたが　隣の実家にいます。。。みなさんならどうしますか？気にせずここに住み続けますか？後3年はここに住もうとはおもいます（子供の学校の関係で）が一生住み続けれるか心配です。よきアドバイスをお願いします。