前妻さんと子供との付き合い方について

×１ 子連れの男性と５年越しでお付き合いしている30歳の女性（未婚）です。
子供（10代）とも今では仲良しになり相談を受ける仲で、彼とは３年後に結婚の予定です。

彼の前妻さんや 私と彼の今後の関係のことでご意見を聞かせてください。
ちなみに彼は15年前に離婚し、前妻さんはその後 別の方と再婚されています。ずっと音沙汰がなかったそうなのですがある日 前妻さんから子供あてに連絡があり、５年前から年に数回 子供と面会をしているそうです。（彼は最近まで見て見ぬフリをしていたそうです）
また前妻さんは彼の婚約者である私の存在は知っています。

私がいま悩んでいるのは「もしかしたら私は身を引くべきなのかな？」ということです。

理由は（秘密裏に）前妻さんが子供と家族ぐるみの付き合いをしようとしていることです。

子供と母親が1対1で会うのは当然の権利だと思っていますが、前妻さんが （うちの）子供 と 再婚相手の方との間にもうけた子供（＝異父兄弟）や、自分の家族に 彼に内緒で会わせていることを子供から聞き、付き合いが深すぎるように感じ驚きました。

彼とも話をしたのですが「一応兄弟なのだし、もう会ってしまったのだから仕方ない」と目をつむるスタンスで、子供の方も１度会ったので出来ればたまには会いたいと思っているようです。

私も もし子供が母親の家族との接触を望むならその権利を奪いたくないという気持ちはありますが、同時に、もしそれがディープなものになれば 私の家族としての立場が薄くなるのではないかという危機感もあります。

ですが色々考えると、私がいなければ子供は母親の親戚ともスムーズに会えるし、子供にとっての「障害」は私のように思えてきました…

心が狭いとは思うのですが、もし母親の親戚との付き合いを私が容認できない場合は私は身を引くべきでしょうか？
アドバイスをいただけると助かります