小学生になったら幼稚園の他学年とは遊ばなくなりますか？

息子(４歳)のお友達(６歳)がどうしても嫌いです。
お付き合いの始まりは、幼稚園バス。我が家が年少、あちらが年長さんでした。
散々からかわれ、鬼ごっこ開始。
当初はやられっぱなしだったわが子も、１年経った今では追いつけるようになったのですが、追いつけば「ちょっとタイム」「もうやめろよ～」
で、ある程度距離を取ったらまた｢○○(息子)、ウザッ！ヤバッ！｣

あちらのお母さんが何も言わないのは育児方針なのでいいのですが、うちが悪い影響を受けるので大変なのです。
やられっぱなしで、でも言い返せない息子は棒を剣に見立てて振り回そうとしたり、砂を握ったり(多分投げつけるため)。
私が見ていて注意するのですが、正直なところ、お友達が焚き付けなければ私も注意しなくて済むのにと思います。
このお友達といるときは、私は息子のそばを離れられません。２歳の下の子もいるのに。
他の子と遊ぶときは、主に下の子を見ながら息子を気にする程度ですみます。

また、家にもよく来ます。
チャイムを鳴らされればいい方。基本、突然ドアを開けられます。
鍵はかかっていますが、突然ドアを引っ張られガンッとドアが鳴れば驚きます。
一度は帰宅直後で鍵をかけておらず、帰宅直後を狙った強盗かと本気で思い、一瞬凍りつきました。
一度はドアを開けて応対したらすり抜けて家に上がられ、声を荒げてしまいました。
インターフォンで対応しても、なんで遊べないの？いつならいいの？じゃあ○○んちで遊ぼうよ、としつこい。

今では、基本居留守。バスのときと、公園で会ったら仕方がないので遊ぶ。
あんなにからかわれるのは息子だけです。なぜそんなに嫌いなのに家まで誘いに来るのかがわかりません。
お友達は４月から小学校なので、他に友達が増えれば息子と遊ぶこともなくなると期待しているのですが、実際どうですか？
居留守する私は大人気ないですか？