別れるべきか改善すべきか

お互いバツイチ同士で16歳年上の彼がいます。別れるべきか悩んでいます。
彼からのアプローチでお付き合いすることに。
彼は前回の結婚で我慢することが多く、これからの恋愛はできるだけ我慢せずにしたいと言われていました。
私は好きな相手のためなら多少の我慢はいると思うタイプです。
彼に対して思うことがあったのですが（普段一緒にいるのに携帯を見過ぎと私に言ってきますが、自分は私の興味ないギャンブルのテレビを一緒にいる時にみたり、男に二言はないといいつつ意見をコロコロ変えたり、同棲していますが家賃、光熱費など私が負担しています）言ったら喧嘩になるだろうしと特にその場で言ったりしていませんでした。
ある日私の誕生日の話になり、誕生日は何する？と聞かれました。
些細な事ですが、そういうイベント事は少し決めてくれたら嬉しいなと伝えたら、「考える余裕がない」と言われました。
そこで私が少しイラっとして今までの思っていたことをぶつけてしまいました。
彼は何故思った時にその場で言わないのかと怒ってきました。それは確かにそうだなと思い、反省して最近は思った時に伝えるようにしているのですが、結局彼が怒って終わってしまいます。（お酒飲み過ぎじゃない？っていうと当てつけのように数日飲まなくなったり、テレビもあてつけのように見なくなります。どれも数日経つとしれっと元に戻っています）
私の伝え方が悪いのかもしれませんが、同じことの繰り返しでこれがずっと続くのかと思うと正直気が滅入ります。
彼のことは好きですが、怒ったように色々言われると萎縮するので、辛いです。
我慢したくないと言われているのに何か言ってもしょうがないのかなとも思うようになってきました。
私が言い方や捉え方、考え方を改善したらいいのか、それとも考え方がそもそも違うから別れた方がいいのか
皆さんでしたらどうされますか？