小６男子の人間関係

こんにちは。小６男子の母です。　　今日は息子の友達づきあいについて相談させて下さい。
息子は大人しいタイプ、と言うわけではないのですが、自分から積極的に誘うことはしません。
いつも、どちらかと言うと下に見られるポジション、というか、友達から誘われるのだけれども、私から見ると遊ぶ場所やゲームなど、利用されているのかな・・・と言う位置づけです。
野球部の友達と遊ぶことが多いのですが、野球は下手くそなので部活内でも位置づけとして下にいて、部活外でもその位置にいる・・・と言う感じです。
二学期になり、我が家以外に子供たちが集まるお友達の家ができ（部活外の子です）、「もうお前の家には行かないから」と言うようなことを言われ、約束していたのにドタキャンされたりということが度々あり、仲間はずれにされているわけではないのですが、すっかり落ち込んでいるのです。
新しく溜まり場（？）になったお宅には息子の苦手な犬がいて、そこに自分がお邪魔することは出来ないそうです。
息子はいわゆるいじられキャラで、友達と同じことを言っても息子には反撃があったりと、その差にも悩んでいるようです。
私、もう高学年で、部活や塾などで友達とつるんでいない子も沢山いるのだから、いつも友達とつるむ必要は無いんだよ、下校後は自分の時間をゆったりすごすことも大切だし、そんな人のほうがかっこいいよ！と言っているのですが、やはり誘われないのが寂しいようなのです。
私としては、格下に見られてまで遊んでいただかなくても、去るもの追わず、で毅然としていてほしいのですが、落ち込んで暗い表情を見ると、どのように声をかけてあげれば一番良いのか、分からないのです。
高学年男子にはこのような悩みは無いのだと思っていたのですが、難しいですね。
分かりにくい文章で申し訳ありませんが、何かアドバイスをいただけると嬉しいです。