もてる彼と、女友達について

私には付き合って４年目の彼氏がいますが、その彼氏は複数の女友達や女性の知り合いとたびたび会い、遊んでいます。私はそれを快く思ってないので、やめてもらいたいと考えています。

なぜなら、彼は女性と遊んで帰ってくるたびに「まだ３回くらいしか会ってないのに告白された」とか「相談聞いてるうちに好きだ、って言われた」等等、私が不愉快になる話をされることが多いからです。
彼氏はとても社交的な人で、色んな人の人生について気になるし意見交換をいろんな人としたいから女性とでも食事に行くし、よく女性からいろんな相談事をされるので、話を聞いてあげるためだからと主張します。
いろんな人の意見を聴くことは自分のためになり、人間性豊かになるから
良いことだとは思いますが、正直不安になります。

４年も付き合っていますので、昔は彼が女性と遊びに行くといっても
あまり気にしてはいませんでした。けれども、彼が最近になってこんなことが
昔あったと告白してきたのです。
それは、実は付き合い始めの頃に仲の良かった女友達とよく遊んでいたときのことだそうです。
その女の子が職場で“かっこいい彼氏がいるから今度プリクラ見せてあげる！”と彼氏もいないのに職場で見栄を張ったことで、私の彼氏に
「見栄張っちゃったから一緒にプリクラを撮ってくれ、お前はイケメンだからまわりも驚くだろうし」と頼まれ、彼氏のフリをして一緒にプリクラを撮ってあげたという話です。彼氏のフリをして撮ってあげたプリクラを、女友達は職場で自慢した挙句、後日、「付き合ってほしい」と告白してきたとかどうとか…。
私の彼氏はそこで断ったそうですが、かつてそういったことがあって黙っていたというので一気に不信感を抱いてしまうようになりました。

この出来事を告白されて以来、彼が女友達と出かけるというと不安です。
私はこの不安をどう解消すればよいでしょうか。