離婚すべきか、自分の気持ちが分かりません

新婚2年目の20代子無し夫婦です。
夫とは19歳〜24歳まで付き合ったのち一度別れましたが復縁し、その後１年交際期間を経て結婚しました。

私は大学生の頃から彼とは根本的に合わないところがある、と感じており一度別れたのもそれが原因で私から別れを告げました。
しかし彼が根気強く私へ復縁したいと言い続けてくれて、復縁し結婚までこれました。結婚後一緒に住み始めてしばらくまでの時間は、彼からは本当に私への愛情を感じていました。

しかし一緒に住み始めてから私は彼の嫌なところが益々目につくようになり喧嘩も増えました。
そして私が彼を見下すような発言をしてしまったことがあり、今でも彼はそれを根に持っています。
大きな喧嘩をするたび『あの発言のことは一生許さない』と言われます。
私は彼を見下していたつもりはありませんが、新卒で入った会社が私の方が大手であり仕事の内容もキツく給与も彼より多かったため、心のどこかで自分の方が上だと思ってしまっていたのだと思います。
そしてそれを彼に言葉としてぶつけてしまったことを深く反省しています。
ただ、私も彼に対して許せない部分が多々あり一度別れた原因がそれであり、復縁するとき彼は『自分の悪いところはちゃんと直すから』と誓ってくれました。
しかし、いまだにそれは改善されず＋同居し始めてから分かった嫌な部分も増えていて、今、彼のことを心から愛しているか聞かれるとイエスとは言えません。
むしろ彼と一生一緒いるのは無理でいつかきっと離婚するだろうと思っています。
ただ、今はまだ彼の全てが嫌いなわけでは無いし、新婚のため世間体も気になるし、自分が離婚したいのか、したくないのか感情がぐちゃぐちゃです。

ただ、離婚して再スタートを切るには早い方がいいのではと考えることもありずっと悩んでいます。

もし何かアドバイスがあれば教えてください。