住宅購入の資金援助

現在は、アパート暮らしですが、この度、義両親の敷地に、私たち家族の家を建てることになりました。敷地内同居ということになります。
結婚が決まった頃は、長男である主人は、口うるさい両親だから、いつかマイホームを持つ時は、なるべく離れて暮らしたい。と申しており、義両親も、好きにしてよい。とのことでした。
しかし、結婚を機に親元を離れた主人は、両親への煩わしい感情もすっかり薄れ、敷地内に建てではどうか。という提案を快く受け入れました。
主人は多趣味で車好き。そこに費やす資金は妥協できず、土地があるなら、甘えよう。という考えになっていました。

そして、住宅購入の話しが始まりましたが、業者との話し合いには、初回から毎回、毎回、義両親が同席し、口を出します。メインで話を聞くのは、主人ではなく義父です。私は、同居でもするんじゃないのか。といつもヒヤヒヤして、居心地悪く感じていました。

主人には、インテリア、内装関係は、なんとか夫婦２人で業者と話せないかと、お願いをしていましたが、契約日前日に、総費用の半分の資金援助をしてくださるという話しがあり、口を出してくることに、ノーとは言えないのでないか、と 先行き不安になってきました。
口出しの内容は、納得がいくことだったり、参考になることばかりですが、義両親がメインで話を聞いたり、私たち抜きで、設計士と面談したりするのが、気分的にとでもイヤです。(主人は、全くイヤがっていません。)

イヤなら、援助は拒否すべき。援助を受けるなら、口を出してくることは、受け入れなければならないのでしょうか。
夫婦２人で、業者と話し合い、その都度事後報告するのではダメか。と提案したいのですが、主人は、否定的です。資金援助の金額が大きいからだと思います。
ちなみに、義父義母、それぞれが口を出すので、打ち合わせは、いつも半日コースの上、なかなか決まっていきません。