義兄が毎日来るのが嫌。

2年前から主人の実家で同居しています。
私達が帰る前は義兄と母が同居していて
兄は別に家があり、賃貸で貸してましたが
私達が同居する時期が来て、その家に戻り
最初はたまに来るくらいで気にならなかったのですが
私達の仕事は自営業で定期的に出張が入り(主人と2人)月の半分くらい家を空けます。
そしてそれが続くようになると
義兄は私達の居ない間実家に居るのです。
そして私達が帰る日にまたピタリと来なくなる。
この繰り返しで、
ある日ビールの缶が大量にうちのゴミ箱に入ってて
一度、義兄に「この家に泊まってます？」と確認したら
オロオロしながら「泊まったりしてないっ」と
布団も使っていて押入れに直し込んでました。
(たたみ方が違うので、すぐにわかりました)
実は義母と義兄はとてもだらしなく全く掃除もしない、
ゴミもそのままにしても平気で…
私達が同居するまでゴミ屋敷一歩手前で
母は88歳で高齢であるので諦めてるのですが
この家に一円もお金入れてない兄が
我が家の顔をしてる事が納得いかず。
この家を建てたのは主人と両親なのです。
私達は住んでない家のローンも払い続け(既に完済しています)
しかもゴミ屋敷一歩手前の状態で住みたくなかったので
同居前に600万かけて家を改装して
キッチンも新しいのを入れたのに
私達が居ない間に、もうシミだらけ（涙）
義兄が来なければここまで汚れません。
現に、今年の3月義兄が骨折して入院してた時
母が1人だったので家はほぼ汚れてなかったんです。
それではっきりわかりました。
主人に「私の考え変だろうか？こんなにずうずうしく来ることが嫌」
と、伝えたら
「自分も嫌だけど、文句言ってもわからない奴らだから言うだけ
めんどくさいことになる」と言われて…
出張から帰る度に憂鬱になります。
どうしたらいいかわからなくて
義兄に言いたいのですが悩んでいます。