彼氏の女友達

彼氏が、中学の頃からの県内の女友達(2人)に、飲みや遊びに誘われていることについてです。
私と彼氏は付き合って2年目で、その女友達とは私たちが付き合い始めてからは会っていないらしいです。
私は、自覚するくらい嫉妬深く、彼氏がSNSでグラビアアイドルやAV女優をフォローしていると知っただけで(私なんか…)(私と付き合わなくても、可愛い女の子見てたらいいじゃん)と考えてしまうほどです。
なので当然、彼氏がいくら「下心は一切ない。その女友達のことは女として見れないから安心して」と言ってくれても、女友達と遊んだり、飲みに行ってほしくないと思ってしまいます。けれど、直ぐに「嫌。行かないで」と言って断れないのです。その理由が、私にも、県外ですが男友達がおり、1年に1回くらいはご飯に行ったり、お互いが好きなアーティストのコンサートに行ったりしているからです。それに対して彼氏は、「俺は気にしないしいいよ〜」と送り出してくれます。

私もその男友達と連絡は取っていたいし、お互いの予定が会った時は遊びたいと思います。なので、相手にも同じように遊んでほしいと思うのですが、嫉妬深いせいで快く「いいよ。楽しんできてね」と送り出せず苦しいです。今こうして文章をうっていても、本当にわがままで重たいなと思います。

皆さんであれば、どのように考えますか？また、嫉妬深くなくなる方法も教えていただければ嬉しいです。
文章を読んで気分を害した方がいらっしゃいましたら申し訳ないです。