真剣なアドバイスお願いします

先日友人から誘われた会に行った際に出会った男性から連絡がきて、２人で飲み行きましょうとなりました。

その飲みの予定は飲みに行きましょうと誘われた日から当日まで少し日が空いてしまうため、その前にも少し会った方がいいかなあ〜と思い、お昼に誘うと、その誘いに乗ってくれて昼に一緒にカフェへ行きました。

しかし、正直言ってあまり盛り上がるような感じでもなく、最初のうちは質問とか向こうからあったり色々話してくれましたが、疲れて来たのか、興味がなくなったのかわかりませんが、
だんだん質問とか話すこととかを向こうからはしてこず、私から投げかける方が多くなりました。
しかしながら、お店のお金とかは全部奢ってくれ、あとで払おうとしたら、次会うときでいいよ。と言ってくれたり、自分はまるまる駅がお店とか詳しい方だと思うから、次の会う予定の日はそこでもいい？と聞かれたりしました。
その後、いちおうすぐにこちらからお礼の連絡と次回もたのしみという連絡をしましたが、返信が着たのは、夕方過ぎに送ったのに、翌日のお昼過ぎとかで、昨日はありがとう！みたいなくらいの内容で次回のもともと約束してた日のたのしみ！という内容はなく、
会う気ないのかなと正直思ってしまいました。

私としては、まだ会って間もないため、もう少し話してみたいなあ〜と思いましたが、相手からするとそんな感じではないのでしょうか？

また、現在向こうからさっきの返信が着て、こちらで止めてしまってる状態でそのもともと会う日も差し迫っているためどうするか聞きたいとも思っていますが断られるのが怖くて聞けていません…。

どうしたら断られずに、とりあえず約束した日に飲みに行けることができるでしょうか。分かりづらい文章でしたらすみません。
特に男性にお答え頂ければ嬉しいです、女性でも嬉しいです！
なんでも良いのでアドバイスご意見下さい…お願いします…！