同僚の妬み？

女性の同僚との関わり方に疲れてしまいます。
私は長年女性が少ない部署に所属していましたが、ここ数年女性が増えました。
そのギャップもあってか、女性との関わり方に疲れます。

人が嫌な気持ちになる様な噂話や身の上話、本人が居ないところでお互い悪口を言っていたり…、ちょっとした込み入った話に聞き耳をたてていたり。
群れるのが苦手な私はなるべくスルーしていましたが、先日上司と2人で客先訪問をした際に、2人で行くのかとか、その上司と2人で行くとか自分は無理とか（上司がその提案をするとも思えませんが）、〇〇さん（さらに別の人）も無理って言ってたとか、色々詮索されました。

その上司は怖いと言う人が時々いますが、私は話しやすいし、これまで何度か業務上の悩みを解決してくれた事があるので信頼しています。
その訪問は偉い方との打合せだったので良い経験にはなっていますが、もちろん私もラクではありません。

ですが、何となく彼女が気がすむ様に「お客さんの都合」的な説明をしましたが、何の為に私に言うんだろう、と思います。
友達に妬みだろうと言われ考えましたが、私ははるかに彼女よりも貢献しているし、望まれる以上の結果を出せるように最善を尽くしてます。お門違いではないかと思うし、取り合う必要はないのでしょうが、やはり気になる時があり…。

2人で行くのが自分は無理。とか、いう必要ありますかね。
同じような思いをされた事がある方、どういう心持ちで対応してますか？