離婚した方がよいか迷っています。

はじめまして。
５０才女性です。
家族は夫５０才、長女大学三年生、長男大学一年生の四人暮らしです。
同じ敷地内に義理の両親が暮らしています。
夫は七年前から単身赴任しております。その間、義理の両親との付き合いは全て私一人で対応してきましたが、最近になり、義理の両親(８０才)が朝早起きし、５時前から起き出しガタガタ外で庭掃除を始めたり、大音量でラジオ体操したりするので、近所迷惑だしうるさいからもう少し静かにして下さい、とお願いした所、年寄りは朝早いものだ！人の行動をいちいち制限するな！と怒ってきました。
私は今まで散々きつい事を言われたり、また、義理の父からは、お母さんが仕事でいない時に呼び出されて、娘みたいに可愛いって、可愛いがって？くれるのですがハグをされます。
そのハグが、軽いハグじゃなくて、ものすごく長い時間ハグされ、頭ナデナデ、手をスリスリされてきました。
旦那に相談しても、お前の事が可愛いいんだろ、いいじゃん、そのくらい！って言い、全然真剣に聞いてくれませんでした。
私も子供達の学費を助けてもらっていたので、お母さんからのきつい言動や、お父さんからのセクハラも我慢してきましたが、朝の騒音問題をきっかけについに爆発してしまいました。
義理の両親は謝りたいと言っていますが、今は全て受け入れられません。
私はとりあえずこの家から出たいです。家を出て少し距離を置きたいと思っています。
そうすれば少しは自分の気持ちも落ち着くんじゃないか、と思っています。
ちなみに旦那はちょっと考えさせてって言ってます。
私だけ家を追い出され、離婚されてしまうのでしょうか？
全て私のわがままなんでしょうか？頭の中がグチャグチャで整理ができません。
何かよいアドバイスが頂けたらすごく嬉しいです。
長文で失礼しました、
よろしくお願い致します。