付き合い方

はじめまして。
３０代の夫婦で子供二人（小４、小２）がおります。

嫁は3姉妹の長女で、現在嫁の実家の敷地内に家を建てさせていただき、3年ほど住んでいます。次女は結婚し嫁いでいます（子供二人あり）。三女も実家を出ている構成です。
嫁のご両親とは特に問題なく、いい感じの距離感で過ごしています。
問題なのは、義妹夫婦との関係です。妹夫婦が毎週末のように実家に帰省することです。当然私の家は実家の隣なわけですので、妹夫婦も（その子供達も）ドカドカと家に
入ってきては居座ったりと好き放題…
最初のうちは良かったのですが、3年余この状態が続いており、ゆっくりしたい週末なのに『また来たのかよぉ』とポツリと独り言が出てしまう状況にまでなってしまっています。最近、私自身義妹夫婦に嫌いな感情が芽生えていて、まともに顔を合わそうと思えなくなっています。
いい加減にしてくれと言いたいのですが、嫁の実家の領域ということと家を建てさせてもらっている後ろめたさがあり、ガツンと言いにくい状況です。
最近は、来るのがわかると自分一人で時間を潰すために出かけたり、調子が悪くて寝込んでいるふりをして帰るのを待っているありさまです。
嫁に言ってもダンマリして不機嫌になるのでどうしたもんかと思っています。
こういう状況で住んでいる限りは仕方ないのでしょうか？