この恋、諦めるべき？

28歳女です。相談に乗ってください。

4年前に手痛い大失恋をしてから消極的だった私に、最近好きな人が出来ました。
その人(31歳)とは数ヶ月前に知り合い、ほぼ毎日メールのやり取りをしています。2人で会ったのはこれまで3回で、今月末には2人でドライブの予定も組んでいます。彼とはとにかく話が尽きず、彼も「こんなに語れる相手がいなかったから楽しい」と言ってくれ、彼も同じように感じてくれているのかな？と淡い期待をしていました。

この週末に、彼と友人知人でキャンプに行き、その中で、彼には今好きな人・気になっている人がいないこと、私と会い始める以前にちょっと意識した相手がいたことを知りました。
その段階でもショックはありましたが、帰ってきてお礼メール（若干気持ちを匂わせる文言も入れました）を送った後の返信にさらにショックを受けています。
「気を悪くしたらごめん。●●（私の名前）のことは、同じ夢を持つ友達だと思ってるんだ。だから、もし、●●が俺のことを友達以上に思っているとしたら、２人きりでは会えないかなと思ってる。」
別に100％自信がある訳では無かったですが、2人で話してる時、出かけた時、ドキドキしてたのは私だけだったんだと思うととても寂しく、悲しく、全然異性として見られてなかったんだと思うとすごく落ち込みました。
彼がかなりの奥手ということ、今現状恋人がいないということは間違いなく確認しています。
また、このキャンプの行き帰りに彼の車の助手席に普通に乗せてくれていたこと、これまでのメールのやり取りを考えると、彼は私のことを悪い風には思っていないのかなと思います。
せっかく築き上げた関係なので簡単に関係を断つつもりはありませんが、悩んでいます。ここまでフィーリングが会う人とはなかなか会えないと思う反面、次の相手を探した方がいいかもという迷いもあって・・・。