主人の別居の子供とのつき合い

ご意見いただきたく、投稿しました。
長文になり、すみません....

結婚して１年、主人には別居の子供が２人いて、
毎月養育費を払っています。
わたしと結婚するまで、下の小学生の娘さんは月１回週末に
主人の家に泊まり、たまに主人の実家にも泊まってました。
（上の男の子は思春期で主人とは会いたくないようです）
結婚前にわたしも娘さんと１度、挨拶程度で会いました。
可愛いお子さんです。

主人には、結婚後はたまに外で３人で遊んだりは
してあげたいけれど、家には連れてくるのは遠慮してほしい、
基本的には外で娘さんと会ってほしい、とお願いしていました。

が、主人は納得していなかったようで
わたしが仕事で不在の時に、内緒で連れてきてました。
話し合い、ケンカになり、その時は主人も
「もう二度と家には連れて来ない」と言うのですが、
ある日の朝、「きょう娘が泊まりにくるから」と急に言われ
わたしが折れるしかないのかな、と思い承諾しました。

その夜、ベッドで３人で寝ようとした時にわたしは
ビックリして、どうしても受け入れられず、苦しくて
ソファーで寝ましたが、主人はそんなわたしの態度に
「子供が可哀想だ」と怒ってました。

何度か一緒に週末を過ごしてみましたが、
わたしが勝手に疎外感を感じてしまうこと、
３人で家のベッドでは寝るのは無理、
基本的に娘さんと２人で過ごしてほしい、
家に連れてくるならわたしは外で時間をすごしたい、

と主人に話し、喧嘩になりその後、
「もう、家には連れてこない。娘が泊まりにくるのも
あと１、２年だろうから、自分も我慢する。」
と話してくれたのですが、
きのうまた、「娘が○月○日に泊まりにくるんだけど..」
と、きいて....少し悲しくなりました。が、感情的にならず、
その日は外で泊まろうと考えています。

ご意見お願いします