お見合いでのその後のお誘いについて

はじめまして。アラフォー独身のポテコと申します。

先日、親戚の方からのご紹介で初めてお見合いをしました(お相手は40代後半の方です)。
あまり乗り気ではありませんでしたがあまりに結婚願望のない私を心配してとりあえず会ってみればという周りの方の言葉に押されお会いしました。

仲人の方は同席せず、二人でお会いしました。
待ち合わせは15時でしたのでお茶をしながらお話するだけかなと思っていたのですが18時からディナーを予約されているとのこと。
全く予想外でだったのでびっくりしました。それなら最初から言っておいて欲しかった。食事まで3時間どうするんだろうと思いましたがひたすらショッピングモールを歩いて時間をつぶすことになり食事前にとても疲れてしまいました。

結局会話もあまり弾みませんでしたし、多少うーんと思うところもありましたのでお断りするつもりでしたが、後日お相手から休日にランチのお誘いがありました。
周りから2，3回会ってから決めるものといわれお誘いをお受けしてしまったのですがやはり気が進みません。

一度お受けしたお誘いをお断りしても差し支えないでしょうか？
気になった点としては
・身上書を書かれたのが本人ではなくお母様でした。
　(当日、ご本人が書かれたものをお持ちになりました。)
・ホテルのフレンチレストランでのお食事でしたがご自分のお皿の料理を食べてと渡してくる。
　(シェアするようなカジュアルな雰囲気ではなかったので少し恥ずかしかったです。)
・ランチで誘われたお店が誰もが知っている高級寿司店
　(ご馳走していただくつもりはないので高級店は相手に対する配慮が薄いなと感じてしましました。)

初めてのことでどのようにするものなのかわからず戸惑っています。
ご意見いただければと思います。