土地購入の住宅ローン

土地を購入し、家を建てることになりました。 住宅ローンのことで質問です。 ハウスメーカーの営業さんの勧めるローンだと金利が高く、少しでも安くしたかったので自分たちで金融機関を決めたいと思い、いろいろ探していました。 そうすると営業の方が、顔なじみのある金融機関でないとスムーズに進められない。他の金融機関にする場合はお互いに大変であることを言われました。 私自身の知識不足を指摘され、何かあったら困るので一筆書いてもらうと言われました。 契約するにあたって、営業さんの勧める金融機関で事前審査は通っていたので、先日契約も済ませてしまいました。 土地購入の住宅ローンはそんなに難しいことなのでしょうか？ 営業さんの言う通りにしたほうがいいのでしょうか？ 家を建てるなんて初めてですし、知識もなく不安です。自分なりに調べてはいますが、専門家にはかないませんし、どうしたら良いのか迷っています。 何かアドバイスをお願いします。