趣味仲間について迷ってます。

ある趣味のサークルに入私を含め６人（全員）だけで、たまに飲みに行ったり、お茶したりしています。
過去に小さなトラブルが何回かあったので、そのメンバー達と疎遠にしようかどうか迷ってます。

疎遠にしたい理由は、

1　話す内容は、趣味についてはほとんどなく、お互いの家庭や自分のこと等、個人的な話が多いです。
私は被害妄想なのか、なぜかさぐりを入れられている気がしてしまうので家庭の事等を聞かれると、おおまかなことしか話しません。
一緒にいても安らげす、また何か悪いことが起きるのではないかと疑心暗鬼になり胸がざわざわする感じです。
趣味の話しをすれば楽しいと思うのですが、リーダー格の人がいて怖い気がしますし、私には話を趣味に持っていく
話術がありません。

2　メンバー内で出産、結婚等のお祝いごとがあると、連絡を取って、相談して、お金を集めて、買って、渡して等の
作業が面倒です。そんなに仲良くないのにと思います。

ですがその一方で、為になるというか聞いてて得するような話もあるのです。例えば私は子供がいないのですが、欲しいと思っているので、子育てについての情報があり、助かります。

あと、距離を置くのは簡単だけどそうしたら自分がどんどん楽な方に流されてしまうのではないか、人として成長できないのではないか、と考えます。

疎遠にする、しないで揺れています。
わがままな考えだと思うのですが、みなさんはどう思われますか。
教えて下さい。宜しお願いします。