バツイチ子持ちの彼

バツイチ子持ちの彼氏と三年半お付き合いをしています。
前妻との間に一人の子供がいます。養育費は
払っていますがもう全く子供とは会っていません。

私たちは同棲もしています。最初はこんなに
お付き合いが続くとは思わず軽い気持ちで付き合いました。
バツイチ子持ちと言うことで色んな葛藤はありましたが。
もう私も26歳です。結婚などのことを考えるようになりました。

色々調べてみるとバツイチ子持ちの方と結婚する
デメリットがとても出てきます。いままで目を背けていましたが
ちゃんと向き合い考えなくちゃいけないんだと。

彼のことは大好きです。結婚もしたいと思っていました。
でも彼の子供は絶対好きになれませんでした。
会うことすらも気持ちよく返事をしてあげれませんでした。
お付き合いをしてきてそれだけは変わることはなかったです。
子供に罪がないことは重々わかってますし
こんなことを言う私は最低ですよね。

将来への不安。彼のことが好きなのに一緒にいても悩む毎日で
嫌気がさしていた時に私に想いを寄せてくれてる人が現れました。
バツも子供もいない彼。私も告白されましたが彼氏がいるので
お断りはしました。ですがその彼のことも気になってしまっている
状態です。彼はいまも私を好きでいてくれてます。
この人となら何も将来への不安もなく進んでいけるのかと考えてしまう毎日です。

こんな気持ちのまま毎日彼氏といるのがとても辛いです。
彼氏のことは大好きです。ただ不安で不安で仕方ないです。
結婚するとしても全ての覚悟がまだできていません。
親にもバツイチ子持ちの件は伝えてありません。

お別れして新しい道を選んだ方が良いのでしょうか？
長年付き合って同棲してきた彼を切って私だけいずれ
幸せになることはバチが当たりますか？
どんな判断をすれば良いのかわからないです、
皆様のご意見を聞かせてほしいです。