４歳の友達関係について。

ご教示下さい。４歳男児の母です。 保育園に通わせてますが、それ以外で、様々な子供達（年の近い子供から、小学生くらいまで）と遊ばせる機会がよくあります。でも最初は仲良く絡んでいるのに、 いつも必ずうちの子だけ仲間はずれにされます。 最初はたまたまか..と思っていましたが、どのグループでも毎回息子が他の子から外れて１人ぽっちになり、いじけたり、親に泣きついて来るのでさすがに心配になりました。 保育園通いも３年になりますが、未だに行きたがりません。 たまに、私が子供達の中に入って、他の子供と交じ合わせるようにもしてますが、時間が経つと、 輪から外れてしまいます。 ちなみに、子供はおとなしい方ではありません。よく観察していると、うちの子がわがままだったり、激しかったりして敬遠されてる向きもあります。 共働きということもあり、甘くしてしまっているところもありますが、 度を超す場合、４歳児なりのしつけもしているつもりなので、 どうしてよいか分からなくなって来てしまいました。 この先小学生になった時、いじめなどに遭わないかとても心配です。 子供の教育法、接し方のアドバイスをお願い致します。