マンション内での付き合い方

新築分譲マンションに住んで2年弱になります。
子育て世代が割といるようですが、まだ挨拶くらいでお付き合いはありませんでした。
先日、たまたま同じ幼稚園(学年は違う)の方と立ち話する時があり、夕方でしたがお家に呼ばれました。
赤ちゃんがいるし夕方は忙しいので断りたかったのですが、子供同士が遊びたいと盛り上がっていたのと、1人で行けると言ったので遊びに行くことになりました。
結局はママが一緒にいないと嫌と言われ戻ってきたので、私と赤ちゃんもお邪魔することになりました。

上に小学生のお子さんがいて、放課後の溜まり場になっているようで、その時も後から1人遊びに来ました。
夕方は忙しい時間帯ですが全然気にしないお宅で、気さくで良い人と思いますが逆に気にせずウチにも遊びに来そうだなと思いました。

懸念した通り今朝偶然エレベーターでお会いした時に、「また遊びたがっているよ。何時に帰っているか分からないから(ウチはバス通園)、いつピンポン行ったらいいかと思って～」と言われました。
一瞬戸惑ったら、「駐車場で一緒にストライダーしたい」ということでしたが、私は駐車場でストライダーをするのはダメだと思っているので(聞かなくても主人も…)困りました。
取り敢えず「夕方は小さい子がいるからバタバタで。1人で遊びに行けたらいいんだけどね…」と答えたのですがまた誘われると思います。
今後の事もあるし角が立たない感じで断り、うまく付き合う方法を教えてください。
ちなみに今後も特に親しく付き合うつもりはないです。挨拶や立ち話する間柄でと思っています。