こんな気持ちでお付き合いしていいの？

はじめまして、只今38歳バツイチ子持ちの会社員です。
一年チョットお付き合いしていた妻子持ちの男性がいました。
最近会社の独身の先輩から交際を申し込まれ
妻子持ちの彼とに先の見えない状況に
見切りを付けた方がいいと思い
交際の申し込みをお受けしました。
もちろん、妻子持ちの彼には事情を話して。

子どものためにも、相手の家庭を思っても
自分自身のためにも、差し障りのない方との
お付き合いを進める方がいいだろうと
頭では理解しているのですが、家庭のある彼の事が忘れられず
心苦しい日々を送っています。
交際を申し込んでくれた先輩は
とても優しく私の事を気遣ってくれ
仕事人としても尊敬できる方です。
この歳になって
真剣に結婚も視野に入れたお付き合いをといってくれてます。
でも、妻子持ちの彼が忘れられないんです。

独身者とお付き合いする方が
絶対間違ってないのは百も承知です
が、心苦しのは何故なのか
お叱りでもかまいません
同じような経験された方
助言いただけませんでしょうか。