義母との関係・解決方法が見つかりません

初めまして。どなたかアドバイスをください。
私は今夫と子供と三人で敷地内同居をしています。母屋には夫の両親、祖母が住んでいます。祖父は先週亡くなりました。夫は祖父母に面倒見てもらったということで祖父母が生きている間は一緒に暮らしたいといい、この形をとりました。

義祖父は自分の子供が娘二人だったこともあり、男である夫をとてもかわいがり、結婚祝いに家を建ててくれました。
義祖母はわたしも夫も大好きで義祖母がいる間は住み続けようと思っています。問題は義祖母に「義祖母がいる間はここにいるよ。でもいなくなったらもうここにわたしの居場所はないからでていくかも」と話したり、「娘の教育の為一時的に海外に住もうかと思っている」と話したことをすべて義母に｢出て行くみたいよ。海外にいくみたい」とかなり言葉足らずな状態で話すので義母はキレ、「でてきたいなら出て行けば。でも借金は返してからいってね」といいます。借金というのは結婚式費用と夫の大学の留年費です。毎月義母には6万徴収されています。

わたしが義祖母に話したのが悪いのはわかっているのですがきちんと訂正すべきでしょうか。今海外にいる義姉が帰ってきていて義祖母、義姉は私たちはなしたこと逐一義母に報告しているようです。もしわたしが一から説明しても｢いいから。勝手にすれば」といわれておしまいだと思います。

また今までも好き勝手きついことを言われているのですがはっきりとこちらの気持ちを伝えるべきでしょうか。実母には｢何をしてもいってくる人は何を言っても無駄」といわれました。おとなしくいるしかないのでしょうか。

今は母屋にいこうとすると気持ち悪くなり涙がでてしまいいけません。

長くなりましたがアドバイスお願いします。