男性ですが男性社員から孤立しています

非常に困っていることがあり相談します。
30代後半会社員です。

営業所は男性ばかり営業員７人、上司1名の事務所です。
自分はそこでNO.2の役職があります。
営業所のエースといわれ会社からも何度も表彰を受けて信頼も厚いと思います。

そんな折り、20代女性が転勤してきました。
他の営業所でも噂を聞きました。一緒に働けるのを楽しみにしてました。と言われ
そのうち、なんでも自分に聞いてくるようになり、自分もそれに答えました。
プライベートでのお付き合いはほとんどありません。あっても遅くなる時にラーメンを一緒に食べる程度です。

しかし、いつからから周囲の男連中の視線が変わってきました。
以前は喫煙所などに行こうとすると後から皆が着いてくる、また、コーヒーなどを飲んでいると
ご一緒していいですか？などと世間話をしたものですが、いまやすっかりなくなりました。
仕事の内容もよく聞きに来ましたが、今やそれもなくなり、その女性だけが聞きに来る感じです。
女性社員はあまり感じてないようですが、自分は彼らの変化を感じています。

きっと女性社員独占みたいな感じで面白くないんだろうな？と感じていますが
今更、女性社員に離れてくれという訳にもいかないし、きっと離れても彼女が孤立します。
男性たちと話し合おうにもきっと彼らのプライドを傷つけるでしょうし、嫉妬するなと言っているようで余計離れていくと思います。
上司は数字さえ出せば文句ない人で、人間関係などは興味なしです。根回として何もないことは強調してます。

彼らにもうまく融合しながら行動しなかった失敗もありますが、彼らも子供っぽすぎるだろ。とイライラします。
何が正解なのか？解らずにいます。
どうすれば彼らとの関係を取り戻せるのか？もう無理なのか？ご意見頂ければと思います。