なるべく誰かといたい女性って結構いると思うので、トピ主さんがどちらがいいタイプか、性格にもよると思いますが、私個人は、女性の少人数で固定される世界よりはマシだと思います。
かならず良心的な人がいるとは限りませんし、女性で合わない人がいると、好き嫌いが飛び交ってぎくしゃくして大変なストレスになりますから。
誰かにやたらツンケンされたり、自分が変だと思わない人の中傷を聞かされたり(内容は仕事に無関係で非常にくだらなくても)。同性でなくても可能性はありますが。
仕事に来ていても、同性を見ると好きか嫌いに分けずにいられない人ってよくいますから。
http://komachi.yomiuri.co.jp/t/2004/0603/001688.htmというところで、やりにくいという方のお話もありますよ。
話す人が全くいないというわけでもないなら、多少は我慢・・・てところでしょうかね。相手にする人が多ければまたいろいろ出てきますし。