私が苦手な旦那のゲーム仲間

私は結婚1年目の子なし専業主婦です。 ことのはじまりは私たちが結婚を前提に同棲を始めた頃に遡ります。 私が実家へ帰省していた時に、私の彼が昔からの付き合いがあるゲーム仲間(彼氏35歳、彼女24歳)を家に呼んだそうです。(私はそのカップルに会ったことも話したこともありません。) 後から聞いた話によると、女性の方が私の香水を勝手に使用したり、家の中(キッチンや寝室まで)を探検していたという話を彼に聞かされてとても驚いたと同時に、そのカップルに嫌悪感を抱きました。(カップル2人は悪気はなさそうです) 私は、会ったこともない知らない人間から、自分が知らないところで自分のものを勝手に使われたり、見たりされるのは嫌だったということを彼に伝えると、『確かにそうだよね、ごめんね』と言いつつも、『香水くらい無くなったらまた買っても良いよ』と言ってきました。(その香水は、私がお友だちから頂いた大切なものだったので量が減ったから嫌だったわけではありません。) その事件以降入籍してからも、旦那はそのカップルと3人で飲みに行ったり、オンラインゲームでボイスチャットもしています。 前置きが長くなりましたが、今回の悩みはここからです。 先日、旦那がまた、例のカップルと遊びに行くと言ってきました。私があまりいい顔をしないと、『ゲーム友だちと縁を切ってほしいということ？』と言われてしまいました。内心、正直に言うともう関わってほしくない気持ちもありますが、旦那にとっては大切なゲーム仲間なので、はっきりと言うことはできませんでした。 私が我慢するしか方法はないのでしょうか。それともあまり関わってほしくないとはっきり伝えるべきでしょうか？ どなたかアドバイスをお願いします。 長文失礼いたしました。