好きな人がいます。

いつも力になってくれて、気にかけてくれます。
誰にでも気さくで、優しくて、しっかりとした考え方や確固たる自分をもっているところに惹かれていきました。

この前彼から食事の誘いがありました。そこで「好きになった人いる？」と聞かれ、そのときに私が勘違いして本当のことが言えなかったため、日を改めて今好きな人がいるということを伝えました。彼の追加の質問についてはほとんど答えられないといい、一応彼だということは伝えていません。

すると「好きな人はいない、付き合いたいと思う人もいない、彼女はいらない」とはっきり言われて、かなり落ち込みました。
好きな人が自分であることもおそらく気づいていると思います。
そのとき「好きな人をどんどん誘ったほうがいい」とアドバイスしてくれました。

以前私から突然誘ったとき、（そのとき彼は用事があっていけなかったのですが）「どんどん誘ってほしい」と言ってくれましたが、彼にとって私は恋愛対象外であるのに、あまり誘うのは迷惑でしょうか？
脈がないと思いながら、正直この片思いを続けるのがすごく辛いです。
かといって、あきらめることもできないと思いますが、あまりにも苦しいので私としては距離を置いて自分自身を磨いていきたい気もします。
しかし、彼はモテると思うので女の子が放っておかないのではないかととても不安です。
あれから彼とはあまり話していませんが、しばらく距離を置いたほうがいいでしょうか？

皆様のご意見をお聞かせください。
よろしくお願いします。