夫兄弟の来訪

夫両親と同居の３０代です。子供はいません。
共働きで、夫とは休みの日が異なることが多く、
家のことをしたり、仕事の疲れをとったりするために、
休みの日はだいたい一人で家で過ごしています。
夫両親とは、上下階で、つかず離れず、それなりにうまくやっています。
ですが、夫弟が家族でしょっちゅう親世帯に遊びに来ることに疲れます。
家のつくり的に、階下の声は丸ぎこえなのですが、
子連れで遊びに来ては、毎回大騒ぎをします。
仲のよいいとこ家族と集まることもあります。
子供の声もそうですが、母親の声のうるささに、
イライラしてしまいます。
心が狭いようでも、嫌でたまりません。
少なくとも週１回。この年末年始は１日おきに来ています。
同居を初めて３年。初めは我慢できていましたが、
最近はあまりにイライラし、家にいることができなくなってきました。
今も、ネットカフェに避難しています。
夫も弟家族が来た日に私の機嫌が悪いな程度には気づいているようですが、
それほど深刻には捉えていないと思います。
せめて、いつ、何時ころ来て何時ころ帰るのかがあらかじめわかっていれば、
その時間に不在にすることもできるのですが、その週によって土曜か日曜かも違えば、
時間もまちまちです。土日両方のときもあります。
かといって、毎週土日出かけっぱなしというのも、
家事もままならなくなるし、何より疲れます。

この状況を何とかするために、夫に相談したいのですが、
このイライラした気持ちやもやもやした感情をさらけ出すのがためらわれます。
何とかうまく相談し、あまり会わなくてすむようにするために、上手な言い方はないでしょうか。
お知恵をお貸しください。