新築への親からの援助について

今度、家を新築することになりました。 新築購入代金（４×○七）のうち約半分を自己資金として出せます。 （そのほとんどは主人が独身時代に貯めた貯金に結婚してからの貯蓄を少しプラスしたもの） 残金のローンも家も主人名義にする予定でが、 共働きですのでローンは二人で返していく予定です。 最近になって、「いまどき　よんせんまんの家なんて危なすぎるから　もっと安い家にしろ」と言っていた主人の両親から援助の申し出がありました。 （５×○６）円 もちろん、自己資金は多いにこしたことはありませんが、 私としては、お断りしたいのです。 家は自分たちの力で建てるべきとか、義理の両親の大事な資産をおいそれと頂けないという気持ちも少しありますが、何より後で余計な口を出されたりすることになるのがイヤなのです。 主人には「援助してもらうのは反対」とはっきり伝えてあります。 主人は口では「いらない」といっていますが、「断れそうにない」とも言っています。 義理の両親の気持ちとしては、なるべく金利を銀行に取られたくないという気持ちのようです。 みなさんなら、どう思われますか？