実家に泊まる義理の弟の彼女

私たち夫婦は義理の父、弟、妹、と同居しています。 二世帯なので、玄関は共有してますが、その他の生活スペースは私たち夫婦とは分かれています。 去年の末に義理の弟に彼女ができて以来、毎週日曜日に弟は彼女を実家に連れて来ます。 最初のうちは日中に来て夜帰る、という感じだったのですが、それも夜は11-12時くらいで私たちが寝ている時間でした。ここ最近は夜11時ごろに来てうちに泊まるようになりました。 この時点で夜遅く人の実家に来るなんて、非常識だなと思ってしまっています。 私が気にしすぎなのか、夜寝ている時に家族以外の人が家にいることが嫌で眠れないのです。 彼女(21歳)とは1度顔を合わせしましたが、悪い子ではなさそうですが、毎週彼女が実家に来るたびに「うわ、また来た。。」とストレスを感じています。 弟は社会人32歳ですが一度も実家から出たことがなく、うちの旦那のように就職を機に出て行ったことはないため、これは自分の家だ！と言わんばかりにこれまでも気ままに実家に居座っていましたが義理の父も特に何も言わないです。 初めての投稿で、支離滅裂な文章でごめんなさい。