長文失礼します。

30代夫婦、１歳の子供がいます。
子供が産まれてしばらく義父母と完全同居をしていましたが、今は主人と子供と３人で暮らしています。
別居の理由は、子供が泣いていると義母が「あなた（私）はいいから！」と言って抱っこさせてくれない、まだ生後３ヶ月の子にリンゴジュースを飲ませようとする、育児に指図する、保育園へ入れる時期や園まで義父母に決められる、初めての子育てで疲れている中、主人は早朝から夜遅くまで仕事で家にいず話ができない、小さいことの積み重ねで私の我慢の限界でした。
私さえ我慢して乗り越えていたら別居はしなかったと思います。

今は義実家から車で３０分の所に住んでいます。
今日の夕方、急に「今から来れない？」と義母から電話がきました。
夕飯の支度も終わり、今から離乳食を食べさせようという時に。
急な呼び出しは１～２週間に１回のペースです。
同居解消してもらった身なので断るわけにもいかず、呼び出される度に毎回行っています。

主人がいなくて私と子供だけでも来てということが度々あり気まずいです。

そして義父母と私と子供、義妹家族で出かける時に集合時間になっても連絡がこず
こちらから「何時にこられますか？」と急かすわけにもいかず結局１時間半待たされたり…

時間にルーズな所も義父母とは合いませんでした。
私１人なら気にならないですが子供がまだ授乳中で場所も時間も気にしていないといけないのでなかなか合わせるのが難しいです。

これからも義父母のペースに合わせなければいけないと思うとうんざりしています。

これから先、義父母に呼び出されても断っていいものなのでしょうか？