彼氏と別れるべきでしょうか。

こんにちは。彼氏と付き合いに疲れてきていて悩んでいます。アドバイス、お叱り等いただけたら嬉しいです。
現在、大学生で一年半ほど付き合っていて、初めて付き合う彼氏です。
彼氏も同い年で兄弟のように仲が良いと周りから言われていて、付き合う前は、親友のような感じでした。
なので、彼氏と一緒にいる時間は気を使わないし、とても楽しいし自分らしくいることができます。
ただ、彼を信頼できなくなり、付き合っていて疲れます。
彼氏は割と恋愛体質で大学入学からの恋愛の話についてはよく彼から聞いていました。今までの恋愛のスパンがとても早かったので、正直、本気で私のことが好きなのか半信半疑で付き合ってしまいました。また、元カノとのセックスの話や、その人がすごくタイプだった、今元気にしているのかな(北欧の人です)という話をされ、さらに、信頼できなくなりました。また、もう1人の元カノのことでも、いざこざが残っていて気を遣わなければなりませんでした。
留学前に、自分の気持ちを話さないと良くないと思ったので、話すとそのまま喧嘩になり、うやむやになったまま半年遠距離となりました。
案の定、半年な間に、私は別れたくなり、初めて別れを切り出しましたが、彼は別れたくない、本気で最初から好きだと言いました。帰国してからちゃんと話し合う予定になりましたが、彼は、自分からきちんとそのことについて話そうとはせず、私から話すと、俺頑張るから、もう嫌な思いはさせないからと言ってきます。しかし、違うことでケンカをして、彼に非があってもすぐに謝ろうとはせず、私が、その事について話し始めたら謝ってきます。私ももちろん自分に非があれば謝ります。

頑張ると言っているのに、自分に非があってもすぐに謝らない、これは改善の見込みがないと見ていいでしょうか？
別れるべきだと思いますか？