彼とのその後

お互い好きで付き合っていて、二人の結婚について話しあった仲です。私は未婚28歳、彼はバツ一、元妻が小学生の子供二人を引き取って育ててます。養育費は毎月数万円払ってます。成人までは払うようです。こういう状況の彼なので、結婚を考えた時、いずれ子供を引き取る事を考えたり（無いと思いますが）彼と結婚して自分の子供を産んだと想像したり、色々自分の精神力、器について考えました。私の両親は離婚していて、再婚した人との生活とかも見ており、彼の二人の子供の気持ちと、自分の産まれてくる子の気持ちを考えると、自分自身も含め結婚は出来ないと思いその事を伝えました。彼はショックを受けましたが、今はお互い誰を探さなくちゃねって悲しいながらも受け入れ、友達関係です。次の人に出会うまでは、元彼ではありますが友達として会ったりメールなどしています。現実誰かが出来ればその人の為に距離はおきます。でも、フリーである今、探している状態なのに会う事に罪悪感を感じてしまいます。私が考え過ぎですか？それとも好きだけど結婚できないと決断したのに、元彼と友達関係で会うのはおかしいですか？今はもちろん誰もいない状態です。