学生時代の友人

こんにちは。40代会社員男性です。
学生時代の友人関係のことでご意見をいただきたく投稿しました。

私は大学時代スポーツ部（＝体育会）にいて、同期が14人います。
その中で自分としては耐えられない人間（以下Ａ）がいます。
詳細は割愛しますが、Ａは部内では重要ポストにいて外面は良いのですが、
実際は性格が非常に悪く、私はそれが分かり、良い関係が築けませんでした。
（つまり元々はＡとは仲良しでした）

しかし彼をよく知らない部員は普通に付き合っていました。

さらに私の体育会には強い”チームの和”があり、好き嫌いはご法度でずっと我慢しました。

社会人になり、私の地方勤務や海外勤務もあり、自然とメンバーとは距離ができました。
一方、地元に残ったメンバーは社会人になった今でも"和"を重んじ、定期的に皆で会っている
ようです。当然Ａもそれには参加しています。
それはそれで仲のいいメンバーなのですが、地方にいる私に連絡が来て、たまには会に参加しろ、
皆会いたがっている、との話になります。

申し訳ないと思う反面、「皆に会う＝Ａに会う」ことになり、僕としては耐えられません。
学生時代とは違い、今会うと、彼と大喧嘩になる可能性すらあると思っています。そんな修羅場は
他の友人の前で出来ません。

自分としては、悩んだ末、Ａと会わない選択をしよう考え、皆からフェードアウトしたいと思っています。
しかし、他のメンバーに悪いなぁという気もあります。ただ、今更、他のメンバーに「僕とＡの関係」の相談等できません。（和を乱しますし、相談された人も迷惑でしょう）。

体育会系でなくとも、強い和のある組織にいて、そこでの人間関係に苦痛を感じられている方、そしてその後どう処理（解決）されたか？
ご経験のある方がいらっしゃればご意見いただきたく思います。