彼と別れた方がいいでしょうか？

こんばんは、現在付き合って3年半の彼がいます。一年半前に彼に一度浮気されました。その後彼からの猛烈な謝罪と反省があったので、半年後に復縁しました。
1週間前ほどに彼の地元に遊びに行き、朝方、時間を確認しようと間違えて彼の携帯を寝ぼけてみてしまうと、そこには私の知らない女からのラインと着信履歴がありました。浮気相手とは違う女です。しかも履歴が深夜の2時半
その時は父親からの電話だから気にするなと電話をとりませんでした。
その女は彼の留学時代の友人だそうですが、話を聞くと、
かれこれ一年ほどライン、電話をしていた(その女に彼女 私がいるのは伝えている)
その女に告白されたが断り、私が悲しむから連絡するなと言っても 寂しい、離れたくないと連絡を彼に送り続けて、彼もちょっと嬉しい、可愛いと思っている
ただの友達だと言っていたのに、今日突然 その人は顔が綺麗で優しくて悪い人ではないから連絡を続けたいと言ってきた (ちなみにその女は23歳キャバ嬢)

こんな感じです。私が、「不安になるからあまりその女に期待を持たせるようなことはしないでほしい、もしその女のところへ行きたいなら言ってもいいけど私は別れるよ」と伝えたら「お前がもっと好き、その人は本当にただの友達だ」と言われますが信じられません。

そして私が不安になりすぎてしつこく電話してしまい、彼に休みたいと言われても 夜中にどうせその女と電話するんでしょと嫌味を言ってしまいました。

別れたらいい話なのですが、なんだか長く付き合ってきて、先週も会ってきたのでなかなか踏ん切りがつきません。このことを家族や彼の家族に話すのも気が引けてしまいもやもやしています。(前の浮気事件は 両家 家族とも知っていますが 今は私たちを応援してくれています)

彼を信じてもいいでしょうか？
それとも、このことに無関心なら女も諦めますか？アドバイスください