元嫁の存在

マッチングアプリで出会い２ヶ月ほどお付き合いしている彼がいます。
私(40歳)実家暮らし７年前に離婚バツイチで子供１人(小5)
彼(45歳)実家暮らし７年前に離婚バツ２で別居の子供１人(小6)
１回目は子供なし嫁の浮気ですぐに離婚
２回目の結婚で元嫁の連れ子２人
実子の娘ちゃんは月イチペースでお泊りに来ていてその時に養育費を渡していると聞きました。親権は彼だと思います。
先月は連絡がなく会えなかったので養育費を振り込みたいと元嫁にLINEをしたら娘がお父さんとお母さんと一緒に食事に行きたいと言っていると言われたので今週末連れ子の娘ちゃん含め４人で食事するみたいです。
今までも元嫁から食事に行きたいと誘われた事があったけど嫌だったので予定が合わないフリをして断っていたそうです。
今回は先月娘ちゃんに会えなかった寂しさと養育費を渡したいのもあってOKしたようです。正直、元嫁と話すこともないし行きづらいとは言っていますが娘ちゃんのリクエストでイタリアンで元嫁がお酒好きだからビールが美味しいお店を選んだと聞きました…
彼には一緒に飲んでほしくないです。
元嫁は毎晩のように飲み歩き朝帰りなど相当遊んでいたようです。
家に帰って来なくなり離婚を急かされたそうです。
離婚してすぐに元嫁は再婚して出産していますので浮気をしていたのは間違いないです。
今回の食事のお誘いも元嫁が寄りを戻したいとか言うのではないか？と思ったので彼にそれを言うと、子供１人できてるし無理！て言ってました。
子供いなかったらOKなの？？て思ってしまいます。
会ってほしくないのが正直な気持ちですが寄りを戻さないか不安な気持ちもあります。
これからも元嫁との食事会が続くとなると耐えられないと思います。
これはもう別れるべきでしょうか？
この様な経験をされた方がいらっしゃいましたら意見を聞かせてもらいたいです。