別れるべきか悩んでいます。

私は25歳で付き合って1年半の同い年彼氏がいます。 彼はすごく真面目です。昔だらしなかったようで、元カノはしっかり者で、彼を引っ張って行くタイプで、6年程付き合っていたみたいですが、元カノと正反対の私と付き合うことになり、変わろうと思ったようです。 真面目だけなら良い事ですが、私に本当に 口出ししてきます。 ルーズな面は自分なりに努力していますが、 不満みたいで、部屋を見回し文句を言います。 買い物をしたら貯金大丈夫なん？と必ず言われます。 私は最近サービス業の仕事を辞め、転職活動中です。 派遣で採用されましたが、合わず、1週間で辞めてしまいました。 元々、細かい正確さや管理が苦手です。ですが、勤務時間帯のことを考え、オフィスワークに就きたく思っています。 事務職は私には無理なのかなととても落ち込んでいました。 その週末、彼の家にいた時に、 お茶をこぼした時に、ずっと 怒られ、「おまえ注意力欠損症っていう病気ちゃう？本人気付かんことあるらしいけど、それ病気やで」と言われました。怒って帰りましたが、 後日電話があり、謝られました。でもその時も、そう思う理由というか私への不満をツラツラと言われました。単に謝ってくれたら許していたと思いますが。 彼には知的障がい者の弟がいるんですが、その弟の事をバカにされたようで腹立ったと、差別的意識持ってる言われましたが、 一言も弟のことを私は言ってまんし、考えてもいませんでした。単に頭が悪い病気と言われたことに対し、病気扱いしないでと言っただけです。 普段からストレスは感じていましたが、好きですし、彼も私が好きで真剣に結婚を考えているから、口うるさいんだ と思っていました。でも今回は落ち込んでる時に人格否定のような事を言われ、転職への不安も更に増えました。 皆様、すみませんが、どう思われますでしょうか。