別れるべきですか？

私は２つ年上の彼と2年近くお付き合いしています。
すごく優しくて面白くて遠距離ですが不安もなく順調だったのですが、去年の夏彼は元カノから電話がかかってきていたことを私に秘密にしていたのです。
前に女の子に酔ってDMしていたこともあり時々彼のケータイをチェックするようになってしまった私は彼のLINEを開きました。そしたら男友達と元カノの話をしていたのです。
元カノに電話番号教えた？と彼が聞いていて友達が教えたと言って彼がなんで？と聞くとまだお前のこと好きかもよお前の話ばっかりするからと友達に言われていました。
そしたら彼は嬉しいと一言。その時彼とお泊まりしてたので隣に寝ていた彼を起こして問い詰めると「誰だって自分の話されたら嬉しいでしょ。」と言われました。
私は「元カノは別じゃない？なんで電話かかって来たこと言わなかったの？」というと彼は「言ったら不安にさせちゃうと思ったから」と言ってきました。
電話がかかって来たことを秘密にされたりした方が私はすごく嫌でした。私がやきもちを焼きすぎているだけなのでしょうか。
元カノは私と彼が付き合っていることを知ってて用もないのに電話をかけてきたりLINEを知りたがります。彼に元カノが好きなのかと聞くと好きじゃないと言われます。どうしたらいいかわかりません、、彼に別れようと言うと泣きながら謝ってきたりもうしないと言われるので許してしまいます。もうどうしたらいいかわかりません。
これだけではなく、まだ付き合ってないけどお互いいい感じの時に別れたはずの彼と元カノがご飯を一緒に食べに行ったそうです。元カノに誘われたからと言われましたが私は元カノをとるのかと思ってしまいました。元カノは私の彼と付き合っていた時に他の男の人と一緒に旅行に行っていたそうです。その話を詳しく話して別れたと行っていました。わざわざ会ってまでそんな人と話す必要があったのかなと私は思いました