ぬきさしならない・・・この状況・・・

はじめまして。30歳既婚子供なしのゆかりといいます。
現在主人と二人暮らし結婚して四年目の夫婦、共働きです。子供はないものの、夫婦それなりに仲良く生活をしています。
今回相談したいのは主人の田舎の住宅についてです。
以前その家は、義理の両親一家が住んでいたのですが広すぎるため管理が大変、、、ということで結婚直前に主人が管理を任せられました。（名義は義理両親のまま）。
義理両親は敷地内に別の一戸建てを立ててそちらに住んでいます。
私たちが現在住んでいる町から義理両親の住む町まで高速で三時間、今のところ月に２回程度（一回につき一泊～二泊）家の維持管理（掃除）という名前の義実家への訪問を続けています。
義両親は毎週こないのが本心のところ不満そうではありますが（最初三年ほどは毎週二泊していました）仕事の都合、体力的なものもあり回数を減らしてもらっています。
確かに新築時は大きくていい建材を使った素晴らしい家だったと思うのですが、住む予定のない、掃除だけをしに帰る家に、週末のプライベートな時間と、お金（維持費、ガス光熱水費５万円程度、＋高速代、ガソリン代）を使い続けることに少し疲れてきています。
完全分離の一戸建てなので家の中に入ってしまえば特に干渉はないのですが、敷地の出入り口（敷地玄関？）が一つなため、車の音で出入りがわかるようで、外出時必ず出てきて声がかかります。
出迎えてもらえるのはうれしいのですが、買い物時の内容や、自宅から持ってきたもの、ごみの内容まですべて見られるのにも少しストレスを感じています。
同居をしているわけではなく、週末以外は自宅でのんびりできるのだからとも思ってきたのですが四年目にしてなんだか腑に落ちない気持ちになってきました。義理両親からは家が結婚祝いだから！！と何度か言われました（汗）。前向きになれる心持ちを教えてください