自分の気持ちがわからない彼。どうすればいいでしょう？

34歳女、2年半付き合った31歳の彼氏との今後について悩んでいます。

2年半交際して、彼は「他人の気持ちを理解しよう、自分の気持ちを理解してもらおう」という部分が少ない人だとわかりました。
半年ほど前からうまくいかなくなるときがあり、先月彼に上記の話をしたところ、本人も交際前から薄々わかっていたようで、
「だから、誰かと付き合うということを諦めていた節がある。ずっと一人でいたほうがいいと思うことがあったし、最近またときどきそう思う」と言っていました。

私は彼の初めての彼女ですが、彼の話を聞いて、私だから余計そう思わせてしまったのでは？
私ではない違う人なら彼は「二人でいたい」と思えるかもしれないでは？と思い、そう言いましたが、
彼は「相手が違えば、ということでもないと思う」と言い、その時は、
お互い気持ちは言葉でわかりやすく伝えよう、と話し合い別れずに済みました。

ところが、一昨日私からの絵文字の「好き」メールをきっかけに話がぶりかえしてしまいました。
そのメールに返信がないまま会ったときにどうしたのか聞いたら、
「先月の話の後から、一人でいたほうがいいんじゃないかとつい考えてしまい、気持ちがわからなくなってしまった」と言われました。

正直、私も彼への気持ちが愛情なのか情なのかはわかりません。
でも、まだ彼と一緒にいたいと思うし、一緒にいて幸なときもあります。
しかし、私でなければ彼は幸せになれるかもしれないとも思い、
昨日そのように話し、「自分が幸せになれる可能性が高いほうを選んで」と言いました。

彼は、「どうすればいいのかわからない」「今の状態のままで考えたい」と言いましたが、
今までと同じように過ごしても答えは出ないと思うのです。
別れるべきなのか、距離を置くべきなのか、どうしたら良いのでしょうか？
ご意見お願いいたします。