成人する夫の子供と会うべきか

夫は離婚歴があり成人する子（Ａ子とします）が都会で１人暮らしをしています。夫と結婚当初は養育費のことやＡ子のことで嫌な思いをしたこともありましたが何とか高校卒業と同時に養育費も終わり、成人までの養育費を一括で支払い金銭的には区切りがつきました。それと同時に私と夫の間でＡ子の話が普通にできるようになりました。（以前はＡ子の話＝お金の話だったのでＡ子の話は必要以外はしませんでした）

区切りがついたのが昨年の３月、Ａ子は１人暮らしということで、季節の変わり目には仕送りをしています。夫の性格上そういうことは「面倒」と思うタイプで私が適当に詰めて発送します。Ａ子はブログをしており私はそれを見ていて（承諾済）好物・趣味が同じものが多々あったので、そういうものを一緒に送るようになりました。

私はＡ子の母親の年齢ではないですが「身体に気をつけてください、時間があれば読んでみてください」などとメモをはさめばブログに本の感想などがあり、お互い存在は知っており写真は見たことがある、Ａ子もお父さんの新しい家族として私と異母兄弟にあたる子供たちを認めてくれていたんだと思います。

しかし昨日「Ａ子が盆に帰省した時に会いたいんだって」と言われ困惑しています。
もちろん夫とＡ子が会うのは賛成です、しかし私と子供達は…
せっかく良い関係が築けそうな段階で会う、印象と違ったというのは避けたいです。せっかく誘ってくれたのに断るというのも大人げないかな、、、

上の子ももうすぐ４歳で色々なことを理解できるようになり安易に会わせるべきなのか、そうでないのか迷います。
私としては、今の関係（趣味・嗜好が似ていて相手に対して良い感情がある）で十分なのです。

Ａ子１９歳・夫４０歳・私２９歳・子供４歳１歳です。結婚７年目、Ａ子が小学生の時に離婚したそうです。詳しい経緯は知りません。