年中の男の子のお友達関係で悩んでます

息子は今4歳。早生まれです。3年保育で行き始め、今年で2年目なのですが、なかなか幼稚園楽しい、ということが無く、たまに「幼稚園嫌い。僕には何でお友達ができないの？」と言っています。先生に相談すると「園ではいつもとても元気に、活発にしています。お友達にも優しく、何の問題も無いと思いますよ！」と言われました。が、自分はお友達だと思う子から「遊ばない」と言われたり、もっと仲のよい子がいる、と思ったりと言ったり、結構繊細に考えているようで、いつも私は「そうかそうか」と話を聞いているのですが切ないです。遠い園なので園終了後に頻繁に遊ぶ子はおらず、私も交友関係が広い方ではないので、寂しい想いをさせているのかなと悩みます。この間、お友達から突然大声を出され、瞬間ですがびくっとして自分が悪いわけではないのに「ごめんね」とその子に謝っているのを見て、いつも気が張っているのかなと心配になりました。どう対応していけばよいのでしょうか？アドバイスお願い出来たら嬉しいです。