先妻側の子供との関わり

●夫・バツイチ子持（子は先妻側）●私・初婚（夫が離婚後の交際）
●夫との間に子供有●住まいは夫の持ち家で前の家族も暮らしていた。

結婚して１０年。今まで別れた子との接触はありませんでした。
最近、夫の別れた娘（Ａとします）から結婚したと連絡があり、それをきっかけに夫とＡさんは時々外で会うようになりました（できちゃった婚で子供有）。
先日晩、夫に用事があるからとＡさんが突然家に訪ねてきました。
私は自分が会う事など想定していなかったので気が動転してしまい、
「急なことで心の準備ができていないから家には上げないで欲しい。」と
夫にお願いしました。夫もなんとか聞き入れてくれ今回は玄関先で終わりました。（夫は家に上げたかった）
夫が外でＡさんと会うのは構いません。
ただ家は嫌なのです。私たちの子供は小学生と幼稚園。
「先妻との子憎し」ではなく、現時進行形で子供を育んでいる我家に、
夫の過去の家庭を今は持ち込んで欲しくないのです。
私は会う必要があるのでしょうか？
この家はＡさんにとって実家ですか？
夫名義の家だから、娘を招き入れたい夫に従うべきですか？