夫婦喧嘩が絶えません。

年の離れた外国人の旦那と０歳の子供が居ます。
旦那には前妻との間に私よりも年上の息子さんと娘さんが居ます。もう４０近い娘さんと息子さんです。
娘さんと旦那はしばらく疎遠になっていたそうですが、私達に赤ちゃんが生まれたのをきっかけに交流が始まりました。それ自体はよかったのですが、それから娘さんがアポなしの訪問をしてきました、しかも友人を連れて。　　　　　　　　　　　　　　　　　
こちらから呼んでないのに家に来るのは辞めて欲しいと旦那に伝えましたが、彼女は新しく生まれた子供と血がつながってるんだし、僕にとっては娘なんだから、少し前に連絡をくれれば好きなだけここを訪ねてきてもいいんだと言って、私が嫌がっている事を受け止めてくれません。先日、娘さんから家に来ないかと誘われましたが、ちょっとした理由で断りました。その時、断ってもしつこくどうしてなのかとか、私達は家族なんだからあなたたちの家を頻繁に訪ねたいと図々しかったので、旦那にもう彼女とは関わりたくないといいました。喧嘩をしましたが、最終的には私と子供はもう関わらなくていい事になりました。ですが、二人目が欲しい私に旦那が、君が僕の子供たちと交流を持たないなら二人目は作らない。もし、僕の子ども達が好きなときに僕達の家に来ていいと言うなら二人目を作ってもいいと交換条件を出してきました。ショックでした。二人目は諦め、前妻との子供たちとは私と子供は交流しないという選択をしようと思ってます。旦那は前妻の子供達と生まれた赤ちゃんをどうしても仲良くさせたかったようですが、私は頻繁に娘さんが私達の家を訪ねてくるのがどうしてもいやで仕方ありませんでした。私のこういう気持ちや、旦那の考え方はどうなんでしょうか？