彼氏の女友達に対する価値観の違いについて

付き合って1ヶ月の彼氏がいます。お互い社会人です。 その彼氏は女友達が多いため、嫉妬と不安でずっともやもやしてしまいます。 というのも、私が元彼に浮気をされてから何もかもトラウマでしんどいです。 彼氏は学生時代にバンドをしていたので男2女2のグループがあるのですが、 「浮気されたトラウマがあるから女の子がいる飲みの場は不安になる」と伝えたら、 「このメンバーだけは譲れない」と言われてしまいました。 私のせいで昔から続いてる関係を壊したくない気持ちもありますが、 そのメンバーの写真を見る限りとても距離が近く、不安になりました。 大勢いるならまだしも、男女4人の少人数かあ…と憂鬱になります。 他にも、女の子と長文のLINEをし合っているのを見かけたり… 完全に男女の友情が成り立つ派vs成り立たない派で価値観が相違しています。 彼の気持ちを理解してあげたいのですが、元彼も同じように「この子だけは譲れない」といい続けた末の浮気だったので信用することができません。 というかまたあの時と同じ状態で不安で頭の中がおかしくなりそうです。 ルールを決めようとしたのですが、譲れない女友達と私のトラウマの話で平行線になりそうだったので一旦時間を置いてから話すことにしてます。 大好きなので別れたくありませんが やはりもう早めに別れるしかないのでしょうか。