一時的な同居解消を提案したい

私は現在、夫、義両親と4人暮らしです。歳は私が39歳、夫が43歳です。二人とも会社員です。義両親の年齢は60代後半です。

結婚10年目で、3年前から義実家の家に同居することになりました。義父の希望です。健康面と金銭的不安で一緒に住んでほしいと。
夫には弟がおり、甥がいます。

義弟家族が近くに住んでいるのですが、毎週遊びに来られるのが嫌なんです。
義家族は全員性格のいい人です。恵まれていると思います。
ですが、朝8時から訪問とか、日中出掛けて夕食にまた食事に戻ってとか自由な行動に、今は私の自宅でもあるのに寛げないんです。

夫は精神的に弱い所がある人なので、同居でも言いづらいことは私が言わなければなりません。義両親は優しい人たちで、過去にこうしてほしいとお願いしたことは、嫌な顔せず分かったよーと言って尊重してくれます。

ただ、孫については、お嫁さん家族のようにうちは裕福じゃないから、せめて夕食を奮発するとかいつでも出来る限り温かく迎えてあげたいのと、義母に言われました。

私も孫に会う＆会わせる機会を減らしたい訳ではありません。でも、職場が週6勤務のところなので、丸１日休みが日曜日しかなく、自宅でストレス発散できないのがしんどいです。

先日、精神的に弱い夫に、思いきって、義両親は毎週孫たちと遊べるほど健康なので、甥がもう少し成長して訪問頻度が減るまで同居解消したいと言いました。
案の定、私の言葉のせいで、夫はショックを受けて精神不安定になってしまいました。(精神安定剤を常用しています。その話の次の日仕事を休んでしまいました)

今までは外でストレス発散していますが、それも変だと思います。
夫は、子供がいないことが根本の原因で申し訳ないと。
私は、そこがポイントではなく自宅と思えないことがストレスだと言ってるのですが。
どうしたら、私の希望が伝わるでしょうか。