建築関係の法律に詳しい方教えて！

去年の11月に契約をして今年10月にやっと家が建ちました。
当初3月に完成予定でしたが、当初から、業者が焦って勝手に確認申請を出したり色々と問題があり、結局建て始めたのは6月くらいからでした。
初めに全てを決めてもらってから着工というのが、本来一番いいと思ってましたが、業者の方針で進めながら決めていく、という感じで、途中で別途工事が必要になったりしましたが、そこはお互い協力しあい（私たちは仕様を下げる、照明を自分で探すなど）なんとか本体工事は完了しました。
ですが、外構をなかなかやってくれず（契約書には予算どりしてありました）困っています。
最終金を払う前日に業者から差額見積もり書を渡され、これだけ予算オーバーしたので外構もできないし、このお金を払ってほしい。と言われました。
そこで主人が、この後つけてもらう予定だったものを我慢するから最低限外構だけはやってくれ、という話をして次の日入金しました。
それからなかなか連絡がないな～、と思っていたら今度はお金を出さないとやってくれないと言い出したのです。
こういう場合、入金前日の話は口約束みたいなものですから、やっぱり強くは言えないのでしょうか？
しかもよく見てみたら、業者の持ってきた差額見積書は納得のいかない項目ばかりで、2重どりしてあったり、勝手に出した確認申請のお金を取られていたりと訳の分からない悪あがき書面のようなものでした。
自分の見解で書面を作り直してみると、足りないどころかいくらか余る計算になるので、書面を業者に送ろうと思ってますが、こういう場合、この余っているはずの金額は戻ってくるのでしょうか？
他で外構を頼んだ場合、その金額を請求（半額でも）することはできるのでしょうか？
消費者センターでは内容証明を送ったほうがいいと言われましたが、できれば話し合いで解決したいと思ってます。