義父がお金を出したがる

30代夫婦、子供2人、4人家族です。 家を建てる事がほぼほぼ決まり、義父に報告したところ、一千万円くらいあげるから！と急に言われました。 今まで散々、お金がないお金がないと言っていた義父。 結婚祝い、出産祝い等はいただいていません。 また、結婚する直前くらいに聞いた話なのですが、旦那にだけ「家を建てるなら俺の部屋も作ってくれ」「将来何かあった時のために部屋を作ってくれ」と頼まれていたようです。 私は義父と相性が良くないので、同居や介護は絶対に無理と断りました。 旦那が伝えたかどうかはわかりませんが。 そういった事があったので、今回義父からお金を受け取ったら部屋を作ってあげないといけなくなったり、ちょくちょく遊びにこられたり、将来同居や介護をしないといけなくなるのではないかと不安で家を建てたいと思えなくなりました。 それに、自分達でそれなりにローンを組めるのに親からの援助はいらないと思います。 自分達の住む家なので誰にも口出しされずに自分達のお金で建てたい！ 心苦しい思いをして家を建てても安心して住めないと思います。 旦那にこの事を話すと機嫌が悪くなって話が進みません。 お金をもらわないと言うのは大前提で、どのように旦那や義父に伝えれば良いでしょうか？