小４息子の友人関係

小学４年生の息子にはクラスで特に仲のいいお友達が２人います。
そのうちの1人のお子さんのこと（A君）で少し困っています。

放課後、土日問わず家にほぼ毎日ピンポンに来る。
約束の時間より2時間も早くピンポン。
遊べないと断っても「お話したいことがある。」「家の鍵がない。」など
何とか粘って子どもを誘おうとする。
私も玄関先に出て行って断るも、家の前で20分以上座り込んで待っていた。
→炎天下のお昼の12時過ぎのことで、さすがに心配になって話を聞くと
「お家の人は買い物に行っていていないから家に入れない。」とのこと。
我が家も用事があって遊べなかったので徒歩3分の児童館に行くか、
担任の先生に電話をしてお家の人の電話番号を聞いてあげようか？と提案。
「やっぱり公園に行ってみる。」とすんなり帰って行く。
遊ぶ場所は公園などで家に上がりたいと粘ることはないのですが、
この時点で少しお友達のことが心配になったので面談の時に先生にお話ししました。

その後も遊びの誘いに来ていたのですが、同じようなことをもう1人のお友達（B君）にもしていたようで、保護者の方が学校に相談したのか頻度が減りました。

ここからが本題なのですが、
2学期になり、B君がうちの子と2人で遊びたいと言い出しA君と交互に約束をするように。
しかし、約束を無視して毎回A君が待ち合わせ先や我が家に来てしまうのです。
初めは3人で遊んでいたのですが、B君が嫌になってきたようで公園で揉めているのを他の保護者の方が目撃したそうです。
息子は公園で遊ぶ友達は他にもいるし、みんなで遊ぶ方がいいと思っているようですが、
私は４年生ともなると「みんなで仲良くね」では済まないこともあるし難しいなと思っています。
習い事など始めて忙しくすればいいのでしょうが本人にやる気がなく。
見守るしかないでしょうか。