「夫実家の敷地に新築」の場合の費用負担について

夫婦共に30代。夫は会社員で、わたしは専業主婦です。
夫は長男、わたしは一人っ子です。
現在は賃貸に住んでいます。

お正月に親戚が集まった席で、親戚から「夫の実家の敷地に私達夫婦の家を立ててはどうか」という話が出ました。
「自分達夫婦の貯金ではまだ家を建てると言うことは現実的でない」と、その話題は夫が上手くかわしてくれました。

しかし、わたしは心中穏やかではありません。
義母名義の敷地内には義母宅、義姉宅が既に建っています。空いている土地は敷地内の一番奥、しかも義母も義姉も干渉しがちな性格なので、できれば避けたいと思っています。

そこで相談です。

もしこの敷地内別居の話が具体性を持ってきたとき、
「何かあったとき権利関係がややこしくなるので、私の結婚前の預金や、私の実家から援助金は一切出さない」
という理屈は成り立つものでしょうか？
正直、敷地内に嫌々ながら家を建てるのに、自分の預金や実家のお金を出すことに抵抗があります。
とは言え、道理に反していることなら主張はしたくはありません。

皆様のお考えをお聞かせ下さい。
宜しくお願いします。