好きだけど別れたいと考えています。

バツイチの男性と１年弱お付き合いをしている、アラサー未婚女性です。彼には前妻のもとに小学生の子供がおります。 私は彼を好きですが、別れたいと考えています。どのように心の整理をつければ決心できるのか悩んでいます。 付き合う前からバツイチ子持ちであることは知っていました。私の考え方が未熟だったのですが、当初は前妻を元カノくらいの感覚で捉えていたのだと思います。ですが、付き合い始めて前妻や子供の話を聞くのがとても辛く、我慢できず喧嘩になってしまいます。彼もそれを察してあまり話さなくなりましたが、前妻を含めた3人でよく出かけているようです。 私たちに結婚の話は出ていません。ですから、養育費や面会について、細かいことは聞いていません。子供を大切にしている人だと思いますし、子供と会うのも当然のことだと思います。前妻と関わりがあることも仕方がないと頭では理解していますが、どうしても寂しい気持ちやモヤモヤが消えません。 彼の家に前妻と子供が出入りしていることも、一緒に使っていたものかなと思うものがあることも本当は嫌で嫌でたまりません。もう会わないでほしい、そんなに子供が大切なら何で離婚なんかしたんだ！など、どんどん考え方が醜くなっている気がします。かといって、私と付き合いたいから子供なんかどうでもいいと考える人であれば好きにはならなかったと思うのです。 つまり私はバツイチ子持ち男性と付き合える器ではなく、お互いの幸せのために別れた方がいいと思うのです。でも彼を好きな気持ちが消せません。無理矢理別れたとしても、非常に近いコミュニティにいる人であるため頻繁に顔を合わせてしまいます。こんなドロドロした気持ちを彼や共通の知人には話せません。 読みにくい文章で大変申し訳ありませんが、気持ちの整理をつける方法が知りたいです。