義父との関係について

義父が墓参りしにこいとうるさいです。今年の春に結婚したばかりです。 義父は昔から自分勝手で家で暴れたりして、夫は義父を怒らせないよう必死でいうことを聞いて来たようでした。 義父は事業もうまくいかず、夫は自分ので奨学金を借りて大学を出て資格を取って今年働き始め、プロポーズしてくれました。 結婚して少し経った頃、結婚式のスピーチを夫から義父にお願いをしました。すると、 「スピーチはやるから、お前の名義で家を買いたい。吐いた唾は飲めない」と言われました。 そんな約束していない夫はそんなことはできない、もっと安い家に引っ越した方がいいのではと助言しました。 すると義父は「親を馬鹿にしてるのか？！ふざけるな！」と逆ギレ。更に私の文句までいってきたそうです。 お金のない義実家のために結婚式は全て自分たちのお金ですることにしました。 顔合わせのためにこちらにきてもらう際も、交通費も宿泊費も払いました。 それなのに、まだ自立して間もない、自分の家すらも買っていない息子の名義で家を買いたいと言い出す。 思い通りにいかないと今度は私の悪口を言い出す。 その後夫はかなり警戒するようになり、メールも必要最低限で返していたのですが結婚式前日。義父が「今どこにいるんだ？」と聞いてきました。 それをなんでそんなこと聞くのか夫が聞いたところ「なんだその態度は？そんな奴の結婚式出ない！」とまた急に怒り出しました。 仕方なく夫は謝り、結婚式も来てもらいました。 式も終わって安心した矢先、夫に電話が。 「お盆にかえってこい、墓参りをしろ」と。夫はそもそも義父を心から大事に思っておらず、恐怖心もあり、帰りたくないと言いますし私も帰りたくありません。 なぜそんな散々なことをされた義父の話を聞いて、時間とお金と労力と精神力をすり減らしてまで墓参りしなくてはいけないのか。 これからどうするべきか、本当に悩んでいます。