離婚歴がある方との結婚

はじめまして。色々と友達や周りに相談しても経験者の方がおらずモヤモヤした毎日が続いており色々な意見が聞けたらなとこちらに相談させて頂きました。 今、離婚歴があり子供は前妻が引き取っている状態の彼と同棲しています。よく二人で結婚の話をしたり、お互いの親とも会っていて交流があります。ただ彼は月に１回、子供達と前妻と面会しています。子供達だけと面会するのは全く気にならないのですが、前妻も一緒にいて面会するのはどうしても割り切れません。 子供達だけで会えないのか彼に言ってみましたが、色々な問題や子供達が前妻も一緒に会って４人で会うことを望んでいると聞くと、それ以上は私も口が出せません。でも色々と話し合って私は前妻と会わなくなるまで結婚も子供を産むことも考えられないと言いました。 でも、彼は私と結婚したいし、私との間に子供も欲しいと言っています。けど前妻との面会の問題については、すぐには切り出せない様子です。前妻との復縁は絶対にないと言われましたが、やはり会うのは嫌です。これは私の我が儘ですか＞＜それに子供達も彼にすごくなついているので、私と付き合っていることや結婚を考えていることもしばらくは話せないと思います。 私はどうしたらいいんでしょうか？もう少し若ければ、待つよと言い切れるんですが、もう３２歳になり子供を産んで育てて、仕事も続けていきたいと思っているので何年も待つ事は出来ないと思います。けど、彼は優しいし生活リズムも合い喧嘩になることもなく気持ちも穏やかでいられます。 でも、彼が前妻になかなか切り出せないまま、今の状況が変わらないのであれば別れを選んだ方がいいのでしょうか？それとも彼を信じて、子供達の事も考えて解決するまで待った方がいいのでしょうか。 長文になり読みづらくなってしまいすみません。最後まで読んで頂きありがとうございました。