彼の部屋に、同僚女性が遊びに…涙

皆様こんにちは。相談させてください。私のこの思いは我儘ですか？ 一人暮らしの彼（30歳）の部屋に、時々、同僚女性（23歳）が遊びに来ます。 私は本心はとても不愉快に思っているのですが、それは彼に言えていません。 縛り付けるようなことは言いたくないし、 うるさい女と思われたくありません。 部屋に来るのは、その彼女一人だけ、ということではなく、 他男性同僚数人と、皆でワイワイ集まって、 DVDを観たり飲んだりして過ごしているようです。 職場ではその女性一人だけが同年代らしく（他は年配の女性ばかりのようです）、 歳が近いということで、仲良くやっているようです。 なので、彼の部屋に呼ばれるのも、5,6人の男性陣と、女性ではその彼女一人。 以前、「可愛い子だから職場で人気ある」って言っていたので、 内心彼も、気に入ってはいるのかな、とどうしても思ってしまいます。 ただ、彼女を部屋に呼ぶのはやめて、とは言えません。 一人で来るとかなら、もちろん激怒しますが、 このような状況なので、無理です。 多少「ふーん。私以外の女性がこの部屋にくるのね～」 とかの妬いてる態度は取っていますが。 本気で私が嫌がっていることを知ったら、 彼が私に気を遣って秘密にされる、っていうのも避けたいですし…。 皆さんならどうしますか？ 放っておきますか？ 不安な気持ちくらいは、伝えてもいいのでしょうか。