建売購入、引き渡し日の延長は無理でしょうか

今住んでいる分譲マンションを売却して建売住宅を購入する予定です。 タイミング良く、3月下旬にマンションが売却でき、4月に建売住宅が見つかりました。 しかし、売買契約日から引き渡し日までの期間が短く（間にゴールデンウィークもはさむので余計）、住宅ローン審査に要する時間などを考えるとスケジュール的に厳しいと考え、その引き渡し日では契約できないことを仲介業者に伝えました。 すると仲介業者は、売買契約書に引き渡しの日付を記載してはいるが、必要時なときは延期することもできるとの説明があり、契約に至りました。 住宅ローン手数料を節約するためローンの手続きは自分達でやることに決めており、仲介業者からはゴールデンウィーク中にゆっくり考えて銀行を決めておいてくださいと言われました。 ゴールデンウィークが明けてすぐ仲介業者から連絡があり、決めた銀行を伝えたところ、その銀行で手続きを進めるように言われ、翌日に手続きをしました。このとき仲介業者からは銀行は一つだけで良いと言われました。 現在は審査結果待ち中です。 そして昨日、仲介業者が銀行に決済までの期間について目安を問い合わせしたところ、6月中旬と回答があったそうです。 すぐに仲介業者から連絡があり「売主が6月中旬では遅すぎると言っている。○○銀行は早いのでそちらで審査をしてほしい」と言われました。 こちらは、引き渡しについて最初から仲介業者に伝えていたし、延期可能だと聞いていたし、今さら何で…という思いです。 仲介業者がすすめる銀行は諸費用も金利も高いので、支払い総額が数百万も違ってきます。 もし○○銀行を断ったら、どうなるでしょうか… 契約解除？ 契約書には引き渡し日の延期についての文言は入っていません。 期日を守れなかったこちらに非があるとうことになってしまうのでしょうか。