積極的なサークル勧誘

最近１歳の子供と近くの公園に行くようになって、顔見知りになって挨拶する人達も出来ました。 先日公園に行くと初めて見る親子がいて、私達の後を追いかけてきて話かけてきました。 ハキハキとした人で話しやすくて気の合う人だなと思ってたのですが話しているうちに 「この町内にサークルあるの知ってる？」と親子サークルの説明をしてきました。 「あそこにいる人達もサークル仲間なの。」っといつも挨拶してる人達でした。 その人達からも楽しいよー入らない？っと誘われました。 初対面でメルアドと電話番号と家の場所も聞いてきてかなり積極的な人でした。 あまりにも積極的だったのと集団で集まったりするのが苦手なのででしっくりきませんでした。 ３日後に返事くださいとメールが来て「今は越してきたばかりなので環境になれてからまた考えてもいいですか」 とお断りしました。「大変だねー気が向いたらいつでも連絡してね」と返事が来ました。 昨日公園でその人と会ったら以外にそっけなくて、断った事ちょっと後悔してしまいました。 公園に行きづらくならないかと不安なのですが考えすぎでしょうか？