断りたい　ありがたいけどいらない土地

初めまして。私は転勤族の妻で地方在住です。子供はまだいません。 最近頭を悩ませていることがあります。義理の両親が義実家の数軒隣に土地を所有しており、私達夫婦に家を建てるようやんわり言うのです。元々そこは義兄夫婦の為に義両親が用意したのですが、義兄夫婦が断ったため私達にお鉢が回ってきました。しかし、正直言うと私達夫婦はそこに住みたくありません。 義父は放任主義を装っている割に過干渉で短気、義母はとても良い人なのであまり悪く書きたくないのですが義父の前だと空気のようになってしまいます。土地の打診の際（１年前）は「ありがたいのですが転勤もありますし、まだ先のことなので・・」と濁してきました。 小さな頃から義父の短気さで振り回され、主人は義実家を完全には良く思っておりません。義父は根っからの悪い人ではないと理解しています。しかし最近義実家と色々ありまして、積み重なったものもあり義実家の超近距離に家を構えても良いことは無いと夫婦で判断しました。「用意された土地には絶対に家を建てない」というのが夫婦の共通認識です。 ただここで「義父母に土地の件を断る」ことで主人と意見が合いません。 私は「態度をはっきりさせないとこちらの分が悪くなる。後々揉めたくないし、さっさと断る準備をしよう」 主人は「あの土地は親父が義兄の意見を聞かず数年前勝手に購入したもの。固定資産税など知ったこっちゃ無い。今も家庭菜園に利用してるくらいだしうちが家を建てないことはあまり影響しないはずだよ。今まで通り流そう。大体俺の転勤もあるのに気が早すぎる」 と意見が割れてしまいました。主人は今の様に転勤が多い時期に揉めるより、もう少し昇進などして落ち着いてからきっちり断りを入れたいようです。その考えも理解できます。ただこのことを誰かに相談したくてもできずに困ってしまいました。 ご意見、ご教示よろしくお願い致します。