NOとどうしても言えない息子です

こんにちは。
トピを開いていただいてありがとうございます。
小学校高学年になる息子が、友達関係で悩んでいます。

クラスの同じ男の子（Ａくん）が週に2度くらい遊びに誘ってきます。
息子が、「今日は家でしたいことがあるから遊べない」と断ると、
「何で何で？特別な理由ないのに断るの？先生に言うよ？！」などと言うそうです。

私としては、好きに言えばいいじゃんと思うのですが、息子は先生に言われるのが怖いらしく、
渋々遊びに行きます。
そして毎回毎回、Ａくんの家の近くまで出かけていきます。
息子が、僕の家の近くがいいと言うとめんどくさいといって、結局Ａくん宅の近くになります。
雨の日も、雪の日も、変わりません。
往復に1時間近く悪天候の中カサをさし、帰ってくる息子を見ると、やるせなくなります。

先日連絡があり、遊びを断ったところ、またチクチク言われたそうです。
別の友達（Ｂくん）といっぱい遊ぶのに僕は？というようなことだったそうです。
Ｂくんの家がとても近い（往復で10分ほど）なので、遊ぶ頻度も高くなりがちです。

息子はもともとNOと言えない性格のため、そこを見抜かれていると思います。
加えて口がとても達者な子なので、息子が断ってもしつこく食い下がり、思い通りにするそうです。
他にも嫌な思いをだいぶさせられているようです。

もうイヤだ、遊びたくない…と暗い顔をしている息子には、話を聞いてあげるだけでいいのでしょうか？
もう高学年ですし、私が表に出るつもりはありません。
主人は、聞いてあげるだけでいいし、聞いてくれる事がすごい嬉しいはずだから、と言っています。

あと、中学校は学区が変わるので、一緒なのはあと少しです。