元嫁との子供との面会について

すごくモヤモヤしている事があって、私の考えがおかしいのかもしれませんが、私には、3歳の子供がいて、今再婚予定相手との間に2人目を妊娠中です。その再婚相手が、バツ2の子供2人いるんですが、この前、ふとした時にこっそり子供に会っている事を知ってしまい、会うこと自体は、子供だから仕方ないと思っているんですが、奥さんとも会って、その後新しく引っ越した私と子供と彼の3人のアパートに子供を泊めていた事もわかりました。遠距離なので平日はその家には私と子供はいません。なんだか、私と子供の居場所がなくなってしまったような気がして、すごく悲しくなりました。それがバレたのも、おもちゃ屋さんのシールが貼ってある飲み物を見つけて、なんでわざわざおもちゃ屋さん？って思ってなんか女の勘で子供に会って何か買ってあげたのかな？って思って聞いたら、初めは、私の連れ子に何か買ってあげようと思ってって言われて、違和感があったので色々問い詰めたら、元嫁との子供におもちゃをかってあげて、家に泊まらせていました。まず、私の子供を使って嘘をついたことにも腹がたちましたが、家に泊めたのもなんだかモヤモヤしました。こんな妊娠初期の不安定な時期にそれを知ってしまったから、余計に私が敏感になっているだけでしょうか？？ご意見いただけたら嬉しいです。