バツイチ彼氏　結婚

私には付き合って5年の婚約済み、バツイチ、元嫁の方に子供2人の彼氏がいます。
彼は、私と付き合ってからお願いした訳でもなく、子供との面会を辞めていました。子供や元嫁の話をすると機嫌を損ねるので、触れる事もあまりなかったです。
しかし最近になって、何の前触れもなく子供を実家に連れてきたり、お盆、正月休みにも彼実家に招きたいと言って来ています。それ自体は構わないのですが、お盆正月は私も彼実家へ何日か泊まります。私としては彼の子供に会いたくはないですし、子供もそうだと思います。
なので、私は子供が泊まりに来るのならば、私は彼実家へ行かないと伝えたところ、『子供に会うなってこと？』『勝手にしろ』『お前やばいね』と言われました。その理不尽な言葉に少しイラッとしてしまい、結婚する上でこれからも子供と会うのならば、会う頻度を元嫁と話し合い、会う際には私にも事前に伝えて欲しいと強めに返した所、『お前に関係ないだろ』『言ってる事おかしい』と返されました。子供のことに関しては何を言ってもこんな調子です。
この一連の出来事を彼親にも話したらしく、どう話したのか、彼親の私に対する態度も冷たいです。今からこんな感じで、これからやっていけるのか、不安でなりません。ある程度の覚悟はしていたつもりでしたが、ここまで話が通じなければ辛いです。もう、別れを考えたほうが良いのでしょうか。文が支離滅裂で申し訳ありません。