息子の友達が、我が家にばかり遊びに来ます

小学校４年生の息子の友達について、相談させてください。

　今年の４月から毎日、息子は自分で鍵を持ち帰宅しています。私（母）が仕事から帰宅するのが６時過ぎなので、それまでは主に友達と過ごしていることが多いです。友達とは、お互いの家に行ったり来たりしています。
　そのうちの一人であるＡ君は、最近ほぼ毎日我が家に遊びに来ます。でも、息子がＡ君の家に遊びに行くことはありません。
　鍵を預け始めた４月から、息子には我が家に友達を呼ぶことを許しています。ただし、親が不在の間に“我が家だけが子供のたまり場になる”というのが嫌だったので、息子には「友達と家で遊ぶのは良いけれど、我が家ばかりというのは駄目。もちろん、友達の家ばかりというのも駄目。お互いの家に行ったり来たりできる関係が良いな～」と伝えていました。もちろん、厳密に同じ回数じゃなきゃいけない、というわけではないですし、友達に事情がある場合は別です（例えば家に赤ちゃんがいるとか、身内に具合の悪い人がいるとか、夜勤のあるお仕事で日中は休む必要があるとか）。
　Ａ君は、何度か会ったことがありますが、挨拶もきちんとできる子です。我が家に来て、迷惑行為をするようなことも一切ありません。息子と仲良く遊んでいるようです。Ａ君のお母さんは、学校行事などでお互いの顔を知っているくらいですが、ほとんど話をしたことはありません。
　何度か息子に、「家ばかりじゃなく、たまにはＡ君の家にも遊びに行ったりしないの？」と聞いたところ、Ａ君のお母さんが駄目と言っているとのこと。

　別に、息子や私が迷惑しているというわけではないのです。ただ、自分の家は事情も言わず拒否なのに、我が家には毎日来る、というのがしっくり来ないのです。
　「お互いに行ったり来たり」を求めるのは、私のわがままなのでしょうか？