彼氏が女の子数人と遊んだことを隠している？

今の彼氏と付き合って、もう少しで5年が経ちます。初めの頃は、男女混合での遊びなどでも特に伝えていませんでしたが、ある日、彼氏が嘘をつき、隠そうとしました。男友達と遊んでくるねーと言われたので、「気をつけてねー」や「終わったら連絡ちょうだい」などと伝えました。 私は、その日、仕事後、SNSを開いたら、私の女友達が彼氏含め数人で遊んでいる写真を載せていたのです。そのことを彼氏に言うと、「なんで知ってるの？」と言い、少し隠そうとしていたので、そのことで喧嘩になりました。その後、こんなしょうもないことで喧嘩になるのは嫌だからと話し合いをし、結果お互い、男女混合で遊んだりするのは嫌ではないとなり、なら、男女混合の時は言うようにしようとなりました。ですが、彼氏は、それ以降ほぼ言ってくれることはありません。 私の友達がたまたま出かけ先で見かけたと連絡が来たり、その時遊んでいた子がSNSで写真を載せていたので分かったり…その回数があまりにも多く、喧嘩の回数も多くなり、別れそうになったこともあります。 彼曰く、男女混合で遊ぶと言うと、私が怒ると思い、言えないそうです。 私も男女混合で遊んだりするし、それは付き合いなのだから、仕方ないと思っています。誘われて行きたければ行けばいいし、嫌なら断ればいいと言う考えです。 そりゃ、少しの嫉妬はあります。ですが、仕方のないことなので、「気をつけて行ってらっしゃい」と言います。ですが、それも怒ってると思われてしまいます。なので、文字ではなく、スタンプにしてみたり、顔文字を使ってみたりもしました。 ですが、毎回毎回怒ってると思われてしまいます。あとは、何も言われず、こっそりと遊びに行き、連絡は取ってくれていて、出かけてはいない状態かのようにしてくるのです。このようなことが多すぎて、何度話し合っても無駄なのかと思うと、別れたほうがいいのでしょうか？それとも、報告も何もなくせばいいのでしょうか？