注文住宅を断るストレス

今年になって新築を考え始めました。
夫も私も30代後半のため、ローンの事を考えるとなるべく早く購入したいと思っています。

県内の建築会社で出している規格住宅の間取りがまあまあ気に入ったので、そこにしようかなーと思いながらも、
気になった工務店の見学会に行ったところ、対応してくれた建築士の方が友達の友達でした。
注文住宅に憧れがあったこともあり、その工務店に設計と見積もりをお願いしているのですが、色々考えた結果、設計図に納得がいかない点が沢山出てきました。
注文住宅とはいえ、予算や土地の大きさを考えると妥協しなくてはいけない点が沢山出てくる…旦那とも意見が合わないとイライラする…納得できる家を建てるのには時間がかかるし、そもそも納得できる家を建てられるかもわからない…
建てた後にあーすれば良かった、こーすれば良かったと思うくらいなら、最初から間取りが決まっている規格にして、オプションで少し自分たちの希望を盛り込んだ方が楽しい…
夫に話したところ、意見が合い、別の住宅会社の規格住宅にしようということになりました。
見積もり待ちではあるのですが、この際、早めに連絡した方がいいのでしょうか。
おそらく、半分以上は進んでいると思います。
しかも、購入予定の土地がその工務店が取り扱っている土地なので（建築条件なし）、断った後も土地の購入手続きでお世話になる予定です。知り合いの知り合いで良くしてくれているので、かなり胸が苦しく、毎日暗い気持ちになっています…