アドバイスお願いします

38歳、独身、女性 、正社員で働いています。
初めて書きこみますので分かりにくいかもしれませんがよろしくお願いします。

私は恋愛経験も乏しくこの年齢ですので、小町などをみても相手を見つけることは難しいと理解をしています。容姿も正直言って全く美しくありません。
なんとか自分一人ぐらいなら食べていけそうなお給料ももらえているので、今後一人ということも覚悟はしており、結婚は良い縁があればしたいなと思っていました。

ところが先日友人から知り合いの男性が彼女がいなくてお相手を探しているので会ってみないかと言われてお会いすることになりました。
お相手は一つ年下のバツイチ、同じ会社の別部署（面識はなし）、特にイケメンではないけど、ごくごく普通のかたで最初の印象ではわたしにはもったいないくらいの方だと思いました。
その後、彼からのお誘いがあり、いままでに3回夜に食事に行きました。
相手に誘われると嬉しいし、彼に生理的嫌悪感もありません。
その反面、正直会うのにすごく疲れてしまい、だんだん面倒になってきました。
また「面倒」と感じた時点で、恋愛対象なのかな？と疑問に思ってしまいました。
今後このまま彼のことを好きになれるかよく分かりません。

このままズルズルあうのもどうかと思うのですが、面倒と思ってももう少し会って見た方がよいのか迷っています。
彼からは特に何も言ってはきませんが、彼の態度からは私に悪い印象はもっていないようです。

私の年齢やスペックを考えると男性に食事た誘われるだけでも奇跡だとは分かっているのですかなにかアドバイスお願いします。