22歳で初恋した彼氏と別れそう

私は、22歳で初恋をしました
同じ職場で働いていて、ある時趣味が合うことを知り、遊ぶようになりました
それから1ヶ月も経たないうちに付き合い、現在で一年半になります

私は今まで彼が好きだから、彼に尽くして来たつもりですが、要領が悪くすぐに怒らせてしまい、
また彼は経験豊富ですが、私はこれまで恋人ができたことがなかったので、そういった知識・教養がないのもあり怒らせてしまっていました
それに、今思うと、私の精神疾患が彼を何度も傷付けていたと思います

何度も別れを切り出され、そのたびに泣いて嫌だと言い、この一年半過ごして来ました
そんな中で、最近彼から再度、別れを切り出されました
今はまだ別れたくなかったため、別れない方向で進んでいます

でも、このまま一緒にいて、お互い幸せになれるのかな、と思いました
今もずっと大好きだけど、彼と一緒に居続ける未来はどうしても明るくなくて
それは付き合っている途中から思っていました
お互い途中から社会復帰ができなくなっていったのもあります
きっと、彼も同じ思いなのかも知れません

だけど、遅めの初恋の相手とこれまで付き合って来て、色々な経験をして、どれも忘れられない思い出です
やっぱり踏ん切りが付かず、今書いています
どうしたらいいですか？