家の外構業者のトラブル。どうしたらいいでしょうか。

どうかお知恵をかしてください。

家の新築にあたり、外構工事を近隣の業者に依頼しました。
ところが着工日になっても着工されないことからはじまって、
作業が素人目にも雑と分かるほどひどすぎてたびたびやり直しとなったり、
たまに作業員（１名）が昼前にやってきたかと思えば３０分程度の作業で
ふらりといなくなり、夕方４時ごろ戻ってきてすぐに帰る
（のちに近所のパチンコに行っていたことがわかりました）といった状況があり、
結局１カ月もかからないはずの作業が半年たった今でも完了していない状態です。

ですが、さんざん担当者に訴えた結果、住むには支障のない程度の状態にまでは
出来上がったので、早くこんな業者とは縁を切りたい気持ちもあり
もう残りの作業はいらないので、お金を支払って終わりにしたい、
ただしずいぶん迷惑をかけられたので当初の金額は支払わない旨業者に伝えました。
何度か話し合いをしましたが、金額の折り合いがつかず、そのうちに業者からの連絡が途絶えました。

ひと月ほどたった頃、こちらから「どういうつもりか」と連絡をしたところ、
「連絡しようと思っていた。そちらの言い値で構わない」と言ってきました。
それでは、と数日後支払うつもりのある金額を伝えたところ、今度は
「やはり金額は第三者（弁護士）に相談することにした」と業者。
こちらとしては、そんなに時間もお金もかけたくないのでその旨伝えるも
「今後は書面で連絡する」と電話を切られました。

とにかくこの業者と早く縁を切りたいです。
今後ますます面倒なことになるのではないかと不安でたまりません。
このまま業者の出かたを待つしかないのでしょうか。
夢の新築でしたが、こんなことになって悲しい限りです。