なかなか決断できません

40代後半女性、離婚歴あり。子供達は成人し、独立しました。今は実家で母と二人暮らしです。 数年前からお付き合いしている、一つ年下の彼がいます。 この彼が自由人と言うのか、ずっと独身を通しているのは良いのですが、ワガママなところがあり、振り回されています。 ちょっと気に入らないことがあると、すぐに「もう連絡しない」「別れる」「うっとうしい」と私を全否定。その都度こちらが宥めて、何とか元に戻ります。 そのくせ お金に困ると私から借りていきます。ちなみに総額18万円ほどになります。 彼は月々の収入が不安定な仕事をしているため、私への返済は滞りがち。そんな調子だから、デートにかかる費用も私が持つことが多いです。 私は資格職でずっと正社員で働いてきました。今年に入り体調を崩し、入退院を繰り返し、体の病気は手術で治りましたが、精神科で適応障害との診断を受けました。 加えて、知的障害を伴わない発達障害があるのも判りました。 そのせいでしょうか、利用されているのがわかっているのに、恐くて別れを決断できません。 小町の皆様に、情けない私の背中を押していただきたいのです。