夫の友人との付き合い

夫の友人（男）のことで困っています。 私は夫とは職場結婚で、よく職場の数人でプライベートも出掛けていました。 夫の友人とは、私の職場の先輩にあたる人だったのですが、彼は自分の先輩にはペコペコとしているのですが、後輩には横暴な態度をとる方で、陰口や、若干意味もなく攻撃的なところもあり前々から良い印象はありませんでした。 仕事の関係上もあるので、「職場にはいろいろな人がいる」という程度でたいして気にはしていませんでした。 しかし、私が仕事を辞めて夫と結婚をし、前の仕事仲間と久しぶりに会ったときに彼から嫌味や攻撃的な言葉を投げかけられ、初めてもう会いたくないとまで思ってしまいました。 しかし、夫の友人は結婚したんだから私たちの家に呼んでくれやら、そのようなことまで話してきているようで今困っています。私はどうしても家には呼びたくないし、もう会いたくないのですが、夫はその方と長い付き合いで仲良くしていますし、夫とその人の関係を私が悪くしてしまうのも気がひけてしまい夫にも話せずにいます。 自分の友人ならばもう会わなかったと思うのですが、夫の友人となるとここは大人になって嫌でもお付き合いをするべきでしょうか…。以前から知っている人ということもあり、突然私だけ会わなくなるのは不自然でしょうか…。何がベストな選択かわかりません。 よかったらアドバイスをよろしくお願いします。