小学生の家遊びについて

小学生の息子がいます。今四年生ですが、最近お友達と遊ぶ約束をしてくるようになりました。 仲良くなった子が数人いて、そのうちの1人の子の家に、3回くらい遊びに行きました。 いつもお邪魔してばかりでは申し訳ないなと思っていて、うちにも来てもらおうと思って誘った（息子が）のですが、お母さんに、行ってはいけないと言われたとの事で、来ませんでした。 これは、うちの子ももう行かせない方が良いということでしょうか… その子の家には、息子以外にも何人かよく遊びに来る子がいるようで、息子が行った時も、いつも3人くらいの子が遊びにきていたようです。 行かせる時は、お菓子と水筒を持たせて、17時には帰らせるようにしていました。 お母さんも優しく接してくれていたようなので、勝手に、行かせても大丈夫と思ってしまっていたのですが、やはり迷惑だったのかなと思い、落ち込んでしまっています。 ちなみに一度、お礼と連絡先を書いた手紙を持たせたのですが返事はありませんでした。 その時点で気づくべきだったのかなと思い、反省しています。 今度懇談会があるので挨拶しようと思っているのですが、何と言えば良いでしょうか？ 今度うちにも来てくださいねというのはしつこすぎますか？