好きになれない

定期的に行く喫茶店で、男性にナンパされました。
私は40代独身で、その喫茶店にはコロナ前は特定曜日の仕事終わりに、コロナ禍になってからは不定期に行っています。
緊急事態宣言も明けた10月、久々にその喫茶店を訪れ、いつものように本を読み、お紅茶を1ポットいただき、店を出ようとしたところ、おとなしそうな感じの同年代男性に声をかけられました。
コロナ前から時々見かけていたけど、コロナ禍以降全く見かけないなと思っていた。久しぶりに見かけたので、これを逃したら次はいつ会えるかわからないと思った。よかったら食事に行きませんか、とのことでした。
特定の恋人はいませんでしたので、食事はOKして、洋食屋でディナーをしました。
その後、ドライブや食事など、計4回会いました。
次回は5回目の食事ですが、これまで行ったお店より高価で雰囲気のいいところを予約していて、なおかつ、大事な話があります、と言われています。

この男性とは、お話ししていておもしろいのですが、食事の好みはあまりあわないし、彼の見た目もあまり好きではありません。
会うときも、向こうは1日中一緒にいたがりますが、私は疲れてしまうので、なんとか4-5時間で切り上げます。

私も特段美人でもない40代半ば。結婚するかどうかはさておき、彼氏はほしいと思っています。
この男性は、運転しても、お酒を多く飲んでも穏やかなので、人柄はいいんだろうな、と思います。
でも今のところ、好きになれないんですよね。
私はこれまで、最初はあまり好きでなくても、会っているうちにその人のいいところが見えて好きになってお付き合いすることがたびたびありましたが、この人に関してはどうもそんな気持ちにならないのです。
こういう場合、この質問をご覧になったあなたならどうされるか、意見を聞きたいです。