関わりを持つ事（仲間に入る事？）を求められてしまうのが苦痛

余り深く無い関わりの人達から、関わりを持たないと、とやかく言われてしまう事に悩んでいます。 ３０人がいる中で、皆、２～５人の仲良いグループが存在し、その中で人間関係を構築する事に対して 暗黙の了解（そのグループでいつもいる事を）すらある感じなのに、私にも仲良いグループがあるというのに、 私には別のグループとも仲良くしたり遊んだり気を配ったりを求められてしまうのです。 あるグループの飲み会にたまたま参加すれば、別のグループが「（人を）選んでる」などと文句を言って来たり まるで敵対？してるかのように。 皆も皆（言ってる本人達さえ）仲良いグループを基本に動いてるでしょう？と思うのです。 私はまとめ役を担ってる訳でも無いし、そんな義務（彼らと関わる）は無いのでは？と思いますが、それが通じないのです。 ただでさえ人との交わりが苦手なので、本当に気を許せる数名の友人といるだけで精一杯なんです。 言われてしまうのは苦手な２グループの人達で、全ての人達では勿論ありませんが。 その人達の方こそ選り好みが激しくて、グループ内の人としか関わりがありません。 その点、私は彼らの御眼鏡に適った相手なのかもしれませんが、彼らと行動を共にすれば取り入れられそう もしくは別の人の悪口を言う仲間にされそうで軽く関わって来ました。 今後も深く関わるつもりが無いのに色々言われてしまう・・・まるで自分達の方を向けと。 私は、どこまで気を使う必要があると思いますか？ こういう人達との関わり方はどうすれば良いのでしょう？