最近仲の良い男性とリズムが合いません

こんにちは。
最近仲の良い男性がおりまして三回デートをしましたが、一回目のデートからリズムが合わないなぁと感じています。
こちらが疲れているときに沢山話しかけてきて、さらにその話が全然面白くありません。笑いのツボが違うなぁと感じます。
一回目のデートはめちゃくちゃ疲れましたが、沈黙の気まずさから気を使って沢山話しかけてきたのだろうと考え気にしないようにしました。
二回目は疲れることなく楽しいドライブができました。
三回目はやはりリズムが合わないなぁと感じました。

見た目や人としてのタイプも好みではなく、向こうから好意を持たれなければそういう対象として見ていなかったと思います。
ラインも、私はマメな方ですが彼はとても返事が遅いです。電話も私は好きですが、彼は電話嫌いです。彼と電話したいとは思わないのでそこまで問題ではありませんが、こんな人なので会うことでしか相手と親交を深められません。


でも優しい人だとは思いますし、メンタル系の病気があり情緒不安定な私を理解しようともしてくれています。
私はモテる女でもなく、25歳で、発達障害持ちで仕事もろくにできません。
こんなのに好意を持ってくれている貴重な存在を簡単に手放すこともできず悩んでいます。
向こうはだいぶ私に好意を持ってくれているようですが、どう関係を進めていったら良いのでしょうか？
アドバイスをいただけましたら幸いです。