主人と義父母との関係

結婚5年目の30代後半の働く主婦です。3歳の女子と2歳の男子がいます。結婚当初主人はSEをしていましたが、頭が痛くなるとの理由でSEを続ける事が出来なくなり、現在運送会社に勤めて4年目になります。きつい仕事なのでお給料は良いのですが、あまりにも忙しく休みも無いので、家族で出かけたり、話す時間も無くなってしまい、ここ半年はたまに話したり出かけたりすると逆に喧嘩をするようになってしまいました。収入や子供の事を考えると離婚までは考えられません。そしてもう一義父母との関係です。義父母は以前は近く(都内)に住んでいましたが、今は大阪にいます。正月、盆、GWと泊まりに行かなくてはいけなく(任意ではなく強制的です)今回のGWは私のみ行きませんでした。皆が帰宅した日に義母に到着連絡の電話をすると、怒った声で「来週の火曜日そちらに泊まります。食事は要りません。」と私の意思確認もせずに一方的に電話を切られました。今までも東京に用事があると何度か泊まりに来ていたのですがはっきり言って嫌です。特別仲良くしたくありません。自分が我侭だとは思いますが、今後の夫婦関係と義父母の関係をどうすれば良いか悩んでいます。