これってストーカーですよね？

２年前、近所に同じ年の子供を持つ家族が越してきて、公園や家の前で会うようになり家族ぐるみで仲良くなりました。
最初はとても親切な夫婦で子供同士も仲良く楽しく過ごしていたのですが、付き合って半年たったくらいから
毎週ご飯に誘われるようになり、家の車がなくて外出しているとわかったらメールや電話で「いまどこ？何してるの？何時に帰るの？」
など聞いてくるようになり毎週なのでストレスになってしまい、適当に理由をつけて断るようにしていました。
すると今度は家族で家の前まで来て、子供に「遊ぼう！」と叫ばせて呼ぶようになり家に居ても落ち着かなくなりました。
平日も奥さんと子供で家まで突然くるので子供を少し早いけど幼稚園に入れることにしました。
するとなぜか奥さんにそんな必要はないと激努され、この人達とは付き合えないと思い避けるようになりました。
子供の入園が決まったとたんにそこの奥さんから「家の子もまめしばさんと同じ幼稚園に通う事にしたからよろしく」とメールが来て怖くなってしまいました。
それから去年の夏ごろからつい最近まで避け続けていたら誘いも減ったので安心していたら今年のゴールデンウィークあたりから
また家の前をうろちょろして子供に叫ばせて呼んだり、突然今から遊びに行ってもいい？などのお誘いメールが始まり
ノイローゼ気味です。先週幼稚園の行事で顔を合わせしつこくまたお茶に誘って来たので１度行けば気が済むだろうと思って行ったのですが
状況は全然変わりません。避けられている事は解っていると思うのですがそれでも来るなんてストーカだと思いました。
この先子供が小学校、中学校も一緒なのではっきり迷惑だからやめて欲しいと言うべきかこのまま避け続けていくべきか悩んでいます。
ストーカーだと逆上するのが怖いと思ってしまいます。何か対処法のアドバイスがあったらお願いします。