主人の仲間うちとのおつき合い

結婚6年目です。主人には、高校時代から続いている仲間がおり、それぞれ結婚して子供もいるので、家族ぐるみで遊んだりしています。
先日主人が、「お前、Tの奥さんに何か言った？」と聞いてきました。T奥さんとはみんなで一緒に旅行に行った時などに仲良くなり、普段はツイッターやFBでやりとりしています。が、T一家が数ヶ月前に引っ越して以降、あまり彼女からのコンタクトはありませんでした。それを言うと、主人は難しい顔をして、「今度年末に家族もいれて何人かで集まろうという話が出てるんだよ。でも俺には何も詳細来ないから、こないだTに連絡を取った。そうしたら、結論としてはA子(わたしのことです)が来ないなら、俺にも参加して欲しいし、子供も連れてこいよ、だそうだ。理由は俺もまだ聞いてない。ひょっとしてT奥さんとお前の間でなにかあったのか？」
びっくりしました。とくにT奥さんとの間に何かわだかまりを生むような心当たりはありません…
ただ、「A子は贅沢だから、うちの奥さんに悪影響与えそうって他の奴らが言ってる」という話を何年か前に主人から聞いたことがあります。どの程度の冗談なのかわかりません。
今後少しづつ、自分だけでも主人の友だちやその奥さんからは距離を取っていった方がよいのでしょうか？
主人に彼等とのお付き合いをやめてほしいという気持ちは少しもなく、自分の気持ちとしては、びっくりはしましたが、所詮わたし自身の友達ではないのでこれ以上の真実への追求心もないのです。
同じような経験された方、いらっしゃいますか？