彼氏と元家族との関係

46歳の死別女性です（独り暮らし） 50歳のバツイチの2年ほど付き合っている彼氏がいます（実家暮らし） 但し、その間、何度もけんかをしては別れたり復縁したりして不安定な状況です。 原因は彼の経済状況が主な理由です。 彼の元奥さんと中学生、大学生の子供達は彼の実家の近所に住んでいます。 彼の浮気が原因で10年ほど前に離婚したようです。 私とけんか別れする度に、何度も元奥さんと子供達と食事に行ったり、今年は初詣に4人で出かけたようです。 彼は別れていた間だから、俺が何をしていても勝手だろといいますが、子供達だけならまだしも、元奥さんも一緒というのが理解できません。 自分が誘ったのではなく、子供達が言ってきたからという言い分です。 ましてや初詣なんて、ただのお出かけではなく、家族のイベントではないでしょうか。。 また彼と仲直りして復縁することになりそうですが、元家族とのやりとりは子供達との交流以外は一切やめてほしいのです。 彼はそれを聞き入れてくれて、子供は一生子供だからこれからもつきあうけど、元奥さんとはもう一切会わないと言ってくれましたが、 別れる度に元家族と合流する意識ではこちらのほうが結局彼は逃げ道があるんだと思うと、いまひとつ、愛情にも疑問を抱いてしまいます。 それでも彼を信じてついていってもいいのかどうかはなはだ不安になってしまいます。 皆様のご意見をお聞きしたいと思います。