問題のある彼氏との別れを迷っています

はじめまして。彼氏と別れを迷っているので相談させていただきます。

お互いのスペックとしては彼氏のほうがいくつか年上で、二人とも２０代前半です。

本題の相談ですが、
彼は、私が自分の思い通りにならないことがあると
すねたりふてくされる、極端なことを言い出したり、拒絶をすることで悩まされます。

似たようなことが何度もあり、
「相手に拒絶される恐怖」「威圧的な態度に対する恐怖」
によって相手の前であまり本音や意見をいえなくなりました。

先日彼が私の嫌がる話をしてきて、今までは我慢していたがそれができなくなり、変な態度をとると
彼氏が怒り出し「俺ははっきり物事をいいえないやつが嫌いだ」といわれました。
しかし、上記にも書きましたが萎縮して本音を彼に伝えられなくなっていました。
「もう別れる？」
と彼氏にそのときいわれましたが、別れてもいいかな、、
といったドライな態度をとるとあわてて、俺が悪かったとご機嫌取りをはじめました。

もう嫌なら別れればいいと思うかもしれませんが
書いたところを除けば彼氏は理想の彼氏そのもので、普通に話したり一緒に遊んでいる分には楽しいです。
普段の行動で愛も感じています。

だからこそ、１つ気に入らないところがあるからといって簡単に別れるのもどうなのかな、と悩んでいます
【ここが嫌いだから別れる】
といって簡単に別れてしまっても、男性に威圧的な態度を取られてしまい萎縮してしまう自分のままでは
新しい人とお付き合いしても根本的には変わらないのでは？とおもうのです
（私はもともと男性が苦手なので、恋人でなくても
男性に威圧的な態度をとられると恐怖で萎縮してしまいます）
こういった経緯で様子を見て付き合うか、別れるか迷っている状況です

ぜひ、人生経験豊富な皆様の意見を頂戴させてください。