死別を経験後、一度再婚をし今は独身の男性への思い

身近な人に相談出来ずに困っています。
タイトル通り、二人の子（中学生）をもうけた奥様と約10年前に死別後、一度再婚をし更に一人子供（幼稚園）がいる男性への思いです。
後妻さんと離婚したのが二年前、小さい子供は後妻さんが引き取り養育費を支払い中、現在は死別の元奥様との間に出来た子供二人の面倒を彼（40歳）一人で見ています。
事の始まりは昨年彼からの熱烈なアプローチ。
私も最初はこの男性と恋に落ちても後に大変な思いをするだけだとブレーキをかけていましたが、徐々に惹かれていくようになりました。
現実問題、彼は働きながら一人で多感な時期の女の子二人を育てており、更には養育費の支払いと、平凡とはかけ離れた生活を送っています。
一方私は、結婚出産の経験もなく、当然死別の経験もありませんので、彼の死別した元奥様への思い、離婚した後妻さんとの結婚生活の破綻原因etc、私には計り知れない事ばかり経験しています。
結婚に関しては２度経験しているせいか、娘二人が成人し、本当に人を愛する事がどういう事か理解するまでは出来ないと言われました。
さすがにこの年にもなると、好きなだけではダメなんだという事も理解していますが、彼の事を好きという気持ちと、自分の両親を早く安心させたいという思いとで揺れ動いています。
彼は、私にはこれから幸せになる権利があるから、自分みたいな問題を抱えている男はやめた方が良いのかもしれないと、言われた事があります。
その発言に若干の狡さや逃げ（それでもいいなら・・・というニュアンスに聞こえます）を感じながらも、なかなか離れる事が出来ません。
同じような経験をされた方、男性女性どちらでも構いませんのでどうかアドバイス願います。