義父母憎けりゃ夫まで…？

約２年半前、結婚前に夫の実家に遊びに行った時のこと、初対面の義母は当時35歳の夫に私28歳の目の前で
『もう逃げられないようにできちゃった婚でもなんでもいいから早く結婚して』と言いました。
なんだかとても失礼じゃないですか？
海外挙式に両家両親のみに来てもらったのですが、その際も、義母は義父と二人で長時間一緒に飛行機に乗るのが嫌で、
大阪に住んでるのに中部国際空港まで新幹線で行き、名古屋で夫と私と私の両親と合流したいというのでそのように旅行の手配をしました。
直前に義父が関空が近いのになんでわざわざ新幹線で移動しなきゃならないのかと怒り出し、結局関空発に変更しました。
義父母は不仲であまり口もきかないので、挙式前後の旅行中にも義母は決まって私の両親の間に割って入り、
母親同士仲よくしましょうといっては私の父を取り残しました。義父は気位が高く気難しいので単独行動でした。
挙式に来てくれた記念にと、アロハシャツを着たテディベアを手作りして実父母・義父母に一人一体ずつプレゼントしたのですが、
義母はそれを知り合いにあげてしまったそうです。

その後は遠くに住んであまり接点はなく、なんとなく勝手で嫌だなぁ…でも根は悪い人じゃないし、
夫の親なんだし嫌ってはだめだと思ってきましたが、今度夫が義実家から徒歩１分の義父母所有の空き家に住もうと言い出しました。
家賃がいらないからというのですが、夫は人の気持ちに超鈍感な人間で、私に気苦労があるのではないかとか、そういう思いやりが一切ありません。
しかも母親としょっちゅうメールや電話をするような仲なので、先が思いやられます。
思い切って、義実家近くは嫌だとはっきり言ってみたのですが、なにが嫌だか分からないと言われるだけでした。
こんな夫と義実家近くでやってく自信がないです。どうしたらいいんでしょうか？