親の土地に家を建てます

30代後半夫婦。２歳児一人の三人家族です。 私の父親名義の空家を建て替える事になりました。 当初その話が出た時私達夫婦には不相応な話と再三拒否していたのですが、老後生活の不安（家を建て替えなくても両親になにかあった時は私達が面倒をみるつもりです。）や資金援助の申し出もあり承諾し今までその手続きを行ってきました。 実際必要な話し合いや手続きなどは、全て私達夫婦が行っていましたが何をするにしてもまず文句・要望が多くうんざりでしたが文句を言える立場でないので我慢してきました。 が、先日言った言わないの事で大きな喧嘩をしてしまい父親から「お前たちのようなままごと夫婦に家を持つチャンスを与えてやったのに・・・。」と言われ家を建てる決断は間違いだったのか？と思うようになってきました。 父親も怒りから感情的になり出た言葉とは思うのですが、色々な事に納得しないながらも頑張ってくれていた主人も激しく落ち込んでいます。 家のほうは着々と準備が進んでいるのに出来上がって住む事が楽しみでなくどうしたものかと悶々とする日々です。 私達夫婦考えや行動が稚拙だったのでしょうか？