離婚を考えるのはおかしいでしょうか

ご覧いただきありがとうございます。
結婚3年目、30代子なし夫婦です。
現在夫との離婚を考えています。

普段の私達はおそらく夫婦関係が破綻しているわけでもないですし、はたから見てもうまくいっているように見えると思います。
私の両親からも非常に可愛がられています。(実際両親から頼まれたことも色々やってくれています)
色々連れていってくれるし、家事もしてくれるし、私の両親からすれば優しい旦那で私は幸せ者だと言われます。
夫に会ったことのある友人からも優しそうな旦那さんだねとよく言われます。

ですが、離婚を考えてしまいます。
理由は夫がすぐ怒ることです。
それだけかと思われるかと思いますが、日々の積み重ねで今の気持ちになっています。
夫が恐いのです。
元々私は争い事が嫌いです。(好きな方もそういないと思いますが。笑)
ケンカになるのが嫌で言いたいことも言えずにいます。
溜め込んでしまうのは私の悪いところだと思いますが、夫に何を言われるのか恐く言葉を飲み込んでしまうことも多々あります。
夫は少しでも気に入らないことがあるとすぐ怒ります。(原因が私でなくても)
私に手をあげたりと言うことは一度もないですが、少し物にあたったり、運転が荒くなったりすることもあります。
ただ、ずっと怒っているわけではないので、少し時間が経つと普通に戻ります。
一度すぐ怒るのは辞めてほしいと手紙を書いたことがあります。
普段も夫の機嫌がいいときはすぐ怒らないでーと明るく言ったりします。

最近毎日少しでも離婚を考えてしまい、なんのために生活しているのかわからなくなるときがあります。
DVや浮気をされたなど明確な理由があるわけでもないのに、離婚を考えてしまうのはおかしいでしょうか？
これから先ずっとこんな気持ちで過ごしていかなければいけないかと思うと、辛いです。