気持ちがわかりません

２年前に別れた男性との関係で悩んでいます。
彼には「うりゅを幸せにする自信がない」と言われ別れました。

半年位前からまた連絡を取りはじめ、私はまた彼に惹かれはじめていました。
そんな中、先日、２人で旅行しました。

彼もまた私と連絡をとるうちに好きになっていたようです。
後日のメールで「本当は旅行で好きだと伝えるつもりだった」と言われました。
彼は旅行の時、付き合ってた頃のペアリングをつけてきたのです。
どういうつもりでつけてきたのか、わからなかったのでその時は話に触れなかったのですが。
後から聞けば、好きだから…との事でした。

私はちゃんと彼に告げました。「貴方の事好きになった」と。
彼から返ってきた言葉は「また同じこと（自信が無くなって別れる）になるのが怖い」でした。振られたと思いました。

しかし今でも、遠距離なのでなかなか会えませんが、どこへ行こうとか、デートしようとか話してきます。
私は振られたのでは？彼の気持ちは？
中途半端な関係は精神的にも辛いです。でも彼に答えを求める勇気がありません。
こんな私ですが何かアドバイスをお願いします。