土地取引。これって普通？

３０代の夫婦です。
念願の家を建てることになり、理想的な土地を見つけました。

偶然、その土地に以前住んでいた方が私の親戚の知人で、
相続をした現在の持ち主を知っていたため連絡をとって聞いてくれたところ
・その土地を使う予定はなく、買いたいという人がいれば売ってもよい
・地元の建築業者（Ａ）に管理を依頼している
・販売についてはどこにもまだ頼んでいない
とのことでした。

そのＡ業者に聞いたところ、社員に地主さんの知人がいて、
個人的に草刈などの管理を任されている。
買いたいということなら仲介するとのことでした。

Ａ業者で家を建ててくれるなら仲介手数料など取らないと言われたのですが
「現在どこの業者で家を建てるか決めていないので、土地取引の仲介だけをお願いしたい。
建築条件をつけるということなら他の不動産会社に仲介してもらう」と伝え、
土地取引仲介だけということでお願いしました。

その後、地主さんとＡ業者でのやり取りがあり、
土地は地主さんからＡ業者が買い取り、
私たちはＡ業者から買うことになるとの説明がありました。
ところがここにきて、土地に建築条件をつける、Ａ業者で建てないなら土地は売れないと言ってきたのです。
しかも値段が安く、買いたいという人が他にもいる。
私たちがＡ業者で建てないというならこの土地はその人に売る、と。

裏切られた気持ちでいっぱいです。
こんなことをする業者に家を建ててもらいたいとはとても思えません。
まさかこんなことになるとは思わず、
ここまですべて口約束のみで文書などは交わしていませんでした。
泣き寝入りするしかないのでしょうか。