バツ1、子持ちの人との恋愛について

20代後半の女です。1まわり年上のバツ１男性とお付き合いするか迷っています。そのひとの子供は元奥さんが引き取っていますが、いつでも会っていいそうです。その人はとても優しく、物腰が丁寧で、私とも気が合い、一緒にいてとても楽しいです。仕事も役員をしており(給料はそこまで高くないと思いますが)、きちんと働いています。

離婚の原因は元奥さんの浮気、借金です。そして問題は、その男性名義で借りられた借金をその人が今でも返していることです。一応元奥さんと両親交えて話合い、お金は元奥さんがきちんと返すことになったそうですが、返す様子はないそうです。その人も何かもういいや、って思って払っているそうです。その代わり養育費は払っていません。元奥さんの借金の原因は今でもわからず、離婚前から浮気相手を家に呼んだり、浮気相手の元彼女ともめて自殺未遂をしたりと色々問題があったそうで深く関わりたくないようです。子供も浮気相手になついているようです。

また元奥さんの現在住んでいる家はその男性名義で会社から借りている家だそうです。

その男性の人柄にはとても惹かれ、また私の仕事や生活もかなり配慮してくれ居心地もすごくいいです。私も年齢的なことから結婚も考えており、相手もその気があるそうです。もしお付き合いになれば借金の額などは聞くつもりです。ただ借金のこと、子供のことがネックになっています。相手の年齢が大分上なこともあり、両親には必ず反対されそうです。周囲の目もやはり気になります。しかし私の家にもいくつか問題あるため、なかなか良い家柄の人とは結婚が難しいように感じているため、ある意味良い縁なのかな・・との気持ちもあります。

誰かに聞いて決めることではないですが、アドバイスいただきたいです。