誘い続けていいとおもいますか？

こんにちは。
相談にのっていただきたいことがあります。

私には好きな人がいます。知り合いに呼ばれた飲み会に来ていた方です。
何度か飲み会で顔を合わせた後、その方に誘われて二人で食事に行きました。

その食事はとても楽しく、また会いたいなと思ったと同時に、この方とお付き合いはできないとも思いました。彼のことを考えるととてもドキドキするのですが、恋愛関係になってしまうと性格は合わないだろうなと。彼も、私といると楽しいけど付き合うのは違うと考えているようです。

それでも私は好きなので、たまにでいいから遊んだり食事をしたりしたいのですが、こんな気持ちでお誘いしてもいいのでしょうか？

彼は、私が誘えば応じる姿勢ですが、自分からは誘わないです。
電話やメールも出せば返信がありますが、あちらからはないです。

もしかしたら、楽しそうにレスポンスしてくれているけれど、本当は迷惑なのかな…。
迷惑でなければ、私から誘い続けたいのですが、迷惑ならキッパリ諦めます。

みなさんはどう思いますか？？