5年お付き合いしている彼との今後について

ご覧頂きありがとうございます。
彼氏との今後について悩み、思い切ってこちらに投稿します。

彼とは婚活サイトで24歳のときに知り合い、当初から遠距離の5年の付き合いです。
現在私は29歳、彼氏は38歳です。

私は結婚願望が強く、28歳までには結婚したいと伝えていました。
しかし中々話が出ず、去年は待ちきれずに逆プロポーズもしましたが「考えてるから少し待って」とはぐらかされていました。

私も周りが結婚していく中、先の見えない彼との交際に疲れ果てて、春に別れを申し入れました。
彼は「そこまで思いつめていたとは思わなかった、結婚するから戻ってきてくれ」と言われ、私も嫌いになったわけではないので寄りを戻すことにしました。

しかしそれから「振られたことは一生忘れない」「すぐ結婚できる相手が欲しくて俺じゃなくてもいいんだろ」と言われるようになりました。
私は彼だからこそ、地元を離れて嫁ぐことになっても良いと思っていたのですが、伝わらない状態です。
一度振ったからには俺に愛情があるのか疑わしい、今は私の愛情深さを図っている時期だとも言われました。

彼のことは好きですし、一緒にいる間は楽しいですが、最近は、次は何を言われるのだろうと怖いです。

彼にもたくさん良いところはあります。
趣味は合いませんが、一緒にいる時間は居心地がいいです。
喧嘩はしたことがなく（そうなりそうな時は私が先に謝っていました）暴力などは一切ありません。

けれども、今後結婚するにしても、誰も知らない土地で彼と暮らしていく自信が少しずつ無くなってきました。

このまま自分のしでかしたことを反省してずっと我慢し続けるべきなのか、色々考えすぎてわからなくなってきました。

支離滅裂な内容で大変申し訳ないのですが、皆さんの忌憚ないご意見を伺えればと思います。
きびしめの内容で構いません。どうぞ宜しくお願いします。