近所の親子同士の遊び

最近、近所の子たちと遊ぶようになったのですが、
夕方の「良い子はおうちに帰りましょう」チャイムが鳴ると
うちは家に帰るようにしていました…といっても２～３回ですが。。。

だからなのか、そのチャイムが鳴ると、他のママたちが
一斉に「●●君、帰るよー」とか、
５時半のチャイムが鳴っても、うちがまだ居ると
「もうチャイム鳴ったのに、なんで●●君まだいるの？」とか言ってきます。
（私が息子に「もう帰るよー」等、言っている訳でもないのに）

はじめは気にしていなかったのですが、あまりにも皆で同時に
うちの子が帰る帰る、とみんなで言いまくるので、
なんだか、早く帰って欲しい空気感で悲しくなります。

今日、そのチャイムが鳴ったら、息子がいなくなって
どこへ行ったのかと思ったら、家の玄関の前で
「もっと遊びたいけれど、チャイムなったから我慢する」と泣いていました。
私は居たかったらもう少し遊んでいいいよ、と言ったのですが、
他のママたちの勢揃いの、「●●君はもう帰るよー」と言われるのが
息子も悲しかったそうです。
なぜ自分だけ言われるのか、自分は帰らなくては、と思ってしまうそうです。


息子は遊びたい気持ちが強いのですが、
周囲のママの「●●君はもう帰るよ」合奏が怖く、私たち親子に居てほしくないのかなと…
その近所の子どもたちは、うちの子はまだ４～５回しか一緒に遊んでないのもあってか、一緒に遊べるのはそれはそれでいいけれど、それほど息子に執着はない感じです。

どうしてあげたものでしょうか。
（漠然とした質問ですみません）