義父の性格と住居について

義父について相談です。 義父は、とにかく融通が利かず、自分の意見、意思をなにがなんでも通そうとします。 今年の正月、主人、娘2人、私で、義実家へ帰省する予定でした。 (実家へは、車で2時間半ほどです) しかし、年末に義両親が２人で風邪をひいてしまい、移したらいけないとの事で、義両親から、申し訳ないが、帰省はまた今度にしてほしいと申し出がありました。 こちらも、それは仕方ないとの事で、帰省をキャンセルしました。 義父は、初孫である我が家の長女を特に溺愛しており、会えない事をとても残念がっていましたので、それならと、風邪が治ってから、土日休みに、主人と娘２人に実家に帰省しておいでと提案しました。 私は、用事があったので、３人でと主人から、義父に伝えてもらったのですが、嫁の私が行かず、３人ということに何故か腹を立て、経緯を主人から説明しても、聞く耳をもたず、終いには、主人と喧嘩になってしまいました。 そのような事は、初めてではなく、良かれと思った事をしたら、なぜか義父が激怒し、フォローしてくれた主人と喧嘩になるの繰り返しです。 主人いわく、子供の時は、もっと酷く、義母がかなり苦労したそうです。 今は、主人が転勤族で、実家から離れた距離に住んでいますが、子供の事も考え、数年中には、いずれは主人が単身赴任で、娘と私は、義実家の近くに住むつもりだったのですが、いつ義父の機嫌を損ねるか恐怖でもあるし、頼りの主人は単身赴任で近くにいられない状態で、義実家の近くに住むのは不安しかありません。 こんな状況ですが、主人にとっては大切な親なので、自分は単身赴任でも、実家の近くに住んでほしいと思っています。 主人が単身赴任になれば、いつ地雷を踏むか分からない義父に気を使う生活をしたくないと思うのは、勝手でしょうか？ みなさんが同じ立場なら、どうするか意見をお聞きしたいです。