近所付き合いはどこまで？

今の所に引越して来て半年になります。
１才９ヶ月の子供が居て、公園などへ行くようになり
少しずつですが、顔見知りが増えて来ました。
同じマンションにも子供と同級生の子が居て、
立ち話したり・・・
近所付き合いは、その程度なんですが、
最近になり同じマンションに住む住人から
声をかけられ、気さくに話す明るい人だなと
思っていたのですが、家に遊びに来て～とか言われ、
困っています。
子供が同級生でもないし（小３）
まだ２回しかあったことがないのに社交辞令かな？と
思っていたのですがどうやらそうではないみたいです。
パートに出てるみたいですが、
仕事が休みの日に、お昼を過ぎると
チャイムを鳴らしてうちへ来るようになりました。
驚いてしまい、居留守を使ってしまいました。
正直言って、子供がまだ小さいし手がかかる時期だし
迷惑だけど、迷惑とは言えないし、
気が小さいので断り方に悩む毎日です。
悪い人じゃないんだけど、何かあまりに積極的で怖いです。
賃貸だからそんなに深い付き合いはないと思っていたのですが。
このような人は初めてで困っています。
何か良い断り方を教えて下さい。。。