板ばさみになり困っています

共通の趣味としてゴルフをやっている彼がいます
たまにいっしょに行ったりしていますが
普段は別の知り合い男女混合の数名といっしょに行くことが多いです。
そのグループに私が彼を連れて行き何度か一緒にプレーしたことがありますので
ほとんどの人が顔見知りです
ただ、彼との交際のことは誰も知りません

その普段いっしょにやっているグループの中の男性（Aさんとします）と彼が
まったく別のことでもめてしまったようです
どうやらAさんが彼のことを一方的に中傷するような発言をしたようで
彼はもう2度とAとは関わりを持たないと言っております。

そのもめている事実はまだ誰も知りません
なので他の人間関係は良好です

今後、続けるにあたって
いままでどおりいっしょにやっているグループと続けるか
距離をおくか迷っています。

彼ははっきりと言いませんが、
私がそのグループといっしょにやることをよく思っていないのではないかと感じます

どうすべきか御意見をお聞かせいただけたらと思います。