年上の彼氏とすれ違っています

一ヶ月ほど前からお付き合いを始めた四歳年上の彼氏のことで相談です。
私は女子高生で、彼は社会人。仕事もしています。お互いアニメやゲームが好きで、カードショップで知り合いました。
それから私から告白してお付き合いすることになったのですが、ある日メールの返事が来なくなりました。不安に思って彼と私の共通の友人に返信をしない理由を聞いてもらったところ、
「これ以上続けていける気がしない、自分が持たない」
という返事がきたそうです。
カードショップにいけば恋愛ネタで仲間内からいじられ、自分の居場所を蝕まれて行く気がする。
私は恋愛経験者で、彼は初めて。テンションがあわない。
私がとても自分本位な行動をしている。
そんな言葉も返ってきたそうです。
私はちゃんとそのことについて話し合いたいのですが、切り出し方がわかりません。友人とのメールを私は知らないことになっています。
無理しなくていい。あなたのそばにいられるだけでいい。そう伝えたいのですが……
アドバイスをお願いします。