彼が仕事上の付き合いの女性と連絡を続けている件について

5年付き合っている彼についてです。 付き合った当初から彼には仕事上の付き合いのある女性と複数で飲みに行ったり、2人きりで食事に行っている事がありました。LINEや電話もしていたようです。「あいつは小綺麗だからモテる」など聞きたくない情報を聞かされ嫌な気持ちが募っていきました。数年前に「深夜に2人で食事に行くのはやめてほしい」とケンカになった事があります。（飲食業の為お店を閉めてからなので会ってるのは深夜です）その後2人で食事に行くのはなくなりましたが連絡は続いていました。 その女性が職場を辞めた後もプライベートで連絡を取る必要はないはずなのに彼に相談があると連絡がきました。私は嫌だと何度も伝えケンカにもなりました。そして昨日彼のLINEを見てしまいました。見た自分が1番悪いです。浮気の関係ではなかったのですが、写真を送りあったり、私を車で送った直後に「話す？」とLINEを打ったり、朝から夜電話する約束をしている内容でした。彼に「嫌だと何年も言っているのに写真を送ったり何故今でも連絡をしてるの」と聞くと「向こうから来るのに返しているだけ」「いやなのはわかったわかった、それ以上言うのやめないとやりかえすよ」「写真を送った理由は特にない」などと言われ、誠意のない言葉に対し「わかってたらやらないでしょ」「彼女が心配するから相談にはなれないと言って」と言いました。 すると「そもそもおまえさ、うそつきなんだよ。時系列がめちゃくちゃ。やめてって言ってるのにやめないのはなんか生むの？おまえ馬鹿なの？」と罵られました。話し合いにならずもうこれ以上耐えられないと思い車を降りて帰宅しました。その後「おやすみー」とだけLINEが来ましたが返信していません。女友達との関係に口を出しすぎなのも、LINEを見る事がいけないこともわかっています。もう何がいけないのか、どうしていいかわかりません‥