義父母への伝え方

30代、結婚12年、子2人(息子小5・娘年中)がいるパート勤務の主婦です。
結婚当初は同居していましたが、2年経った頃に義父が仕事の都合で隣の市に移動になり、話し合いの結果、主人の仕事のことがあり義父名義で家を新築しました。その後義父から「毎月1回土曜日、飲み会があるから泊まらせてほしい」と旦那に話をしていたようで、事後報告でしたがお世話になってるので了承しました。私もフルタイムパートで働いていたので泊まるくらいなら…と考えていたのですが、実際は義父を送ったり(帰りはタクシー)、晩御飯の用意等で気が休まる暇もなく…翌朝も6時前後から物音がして、休日なのに平日と変わらない時間に起きて、子供も平日より早く起きてしまうことも多々。でも子供も楽しそうだしなぁと思い、今まで耐えていました。しかし、今年3月から上の子がスポ少に入団し、土日も忙しいことは話をしていますが、それでも毎月泊まりに来ます。2月に定年退職した後もまだ飲み会が続いており、わがままかと思いましたが、私が持病を抱えており、せめて2ヶ月に1回くらいにしてほしいと考えていますが、どう話したらいいかアドバイスお願いします。