小３男児の友人関係

心の持ちようを教えて下さい。

息子はゲームはしない、どちらかといえば家の中で読書をして過ごすのも好きなんですが、土日は基本的に公園で友達と遊びたいと思っているようです。
そんな息子の学校の友人（少人数）関係を大きく分類すると

・家の中でゲーム三昧の子たち（４、５人）
・公園でドッヂボール系で遊ぶ子たち（３、４人）

なのですが、公園で遊ぶ子たちは仲間意識が強く、時々一緒に遊ぶ息子を受け入れはするものの、約束の時間にわざと遅れたり（寒い中公園で３０分待たされる等）、ルールを自分たちの都合で変えたり、遊びの中で「外し」をするようです。

私は「そんな思いまでしてその子たちと遊ばなくていい」というのですが、息子は「そんなことを言うと友人がいなくなる」と言います。

学校ではみんなと楽しく過ごしています。

母として不憫だなあと思いますが、こういうことって子どものうちは誰にでも起こりうることでしょうか。