裏の家の換気扇の音に困っています

空家だった裏の家を建築関係のご家族が買われ夏からご自分でリフォームをされています。自分でされているので平日も土日も関係なく朝６時くらいか夜８時くらいまで、工事をしていた為　私はノイローゼになりました。今も毎日安定剤も飲んでいます。ご主人に「体調が悪くなったから土日はやめてほしい」とお願いしてもダメでした。謝罪も何もありませんでした。 ご近所の役員さんに相談しましたが、「そのご家族は町内の木を切るなどボランティアなどをされていて、とてもいい方だから、あなたも気にしないでテレビでも観ていたら？」なんていう始末でした。 まだ家の中はできあがっていないのですが、元旦に引っ越してきたみたいです。 音は外壁ができたため聞こえることは少なくなりほっとしたのですが、今度は私の家の庭側に面した所に隣のお風呂の換気扇があり、ブーンと２４時間回り続けていて、音が気になって仕方がありません。庭が狭いためと裏の家が１段高くなっているので、とても響きます。一度ご主人にお願いしても聞いてもらえなかったので、奥さんに言えたら言おうと思っているのですが、 どう言ったらいいか悩んでいます。あと奥さんも旦那さんの手伝いをしているので、奥さんだけに会うのが難しいです。 お風呂場は大きな掃き出しの窓もあるようですし、喚起はできると思うのですが、換気扇をずっとつけっぱなしにしなければならないかよく分かりません。あと暖かくなり窓を開けると完全に聞こえてしますので、本当にどうしようか真剣に悩んでいます。何かいいアドバイスがありましたらよろしくお願いします。