義父母との付き合い方について　アドバイスください。

　主人と子どもの3人家族です。 　昨年主人（長男）の実家のすぐ脇に家を建てました。主人は「他に土地を買っても」と言ってくれましたが、土地柄、近所や親戚に「長男なのに」と言われるのは申し訳なかったので、同居しないということで、敷地内に。（母屋まで乗用車1台分くらいです） 　主人は平日休み、義父母は土日祝日休み。義父母の休みのたびに「○○へ行くから一緒に」「お昼を、夕飯を一緒に」と　何かにつけて誘われました。　私も「長男の嫁だから仕方がない」「慣れるまで」と我慢していました。 　ですが、頑張って我慢していた糸が切れてしまって・・・。ストレスになってきています。 　義母からは「昨日は早く寝たのね、電気が消えてたから」「○○（子ども）は早く寝せたのね、2階の電気がついたから」「□□（主人）は帰り遅かったのね、私は○時まで起きてたんだけど」　と言われることが多く、なんだか監視されているようで。 　義父は記念日やイベントの時は口を出し、なんでも「俺がやる」「俺がやってやった」　普段の土日祝日に一緒に過ごしているんだから、特別な日は遠慮してくれると、勝手に思っていました。 　私自身が選んだ道、義父母も子どもをかわいがってくれる、専業主婦させてもらって、子どもを自分で見ていられるんだから。　主人も仕事が遅く、一生懸命働いてくれている。　全部私のわがままで、自分が我慢すればいいコトだって　言い聞かせてきました。 　昨日、今日で義父母が旅行に行き、初めて、義父母の存在を全く気にせずに生活できて　心から開放された気がしました。　が、今朝になり、また顔を合わせなければならないと思ったら一気に憂鬱になり、涙が止まらなくなりました。 　義父母に悪意はないし、主人に言うのも義父母の悪口を言うようで。。。どのように付き合っていけばいいですか？