夫のかわいがっている後輩を受け入れるべきですか？

結婚6年、夫とは一回り年下の30代です。 夫は、友人や会社の部下などを家に呼び、泊まってもらったりするのが好きな人です。子供が産まれる前まではよくそうしていましが、産後泊りは控えて貰っていました。 友人の中に、30代の後輩と40代の友人がいて、主人とは10年以上の付き合いです。私の友人を交えて仲良くしていましたが、後輩が私の友人を２人好きになったりと色々あり、今は以前のように皆でワイワイとはいかなくなりました。 また、彼等はキャバクラ好きで私と結婚する以前はかなり行っていたらしいのは知っていましたが、結婚後も行っていたことが発覚しました。 先日主人から、子供も2歳になったし、後輩だけでも前のように家に呼びたいと言われましたが、私は上記の点が許せないので断りました。これは一般的にみて私のわがままでしょうか？ 私としては、陰でこそこそ遊ぶ友人達を、何故自分と子供の時間を削ってまで接待しなければならないのかと納得がいきません。主人の生活費以外のお金でどう遊ぼうが関知するつもりはありませんが、やはり気分が良いものではないというのが本音です。 男女問わずご意見、宜しくお願いします。