近所の4歳男児の衝動的ちょっかいに困っています

うちの子(４歳男児）と同じアパート、園バス一緒の４歳男児がいるのですが、毎日夕方、家の前で遊んでいます。その子が突然理由もなく、うちの子の服の首元を強くひっぱったり、どついたり、痛いほど手をつかんできたりします。うちの子は『痛い、やだよ！！』といいますが、その子はやめません。彼の母親も『離してー』というだけで、子供の手をつかんでやめさせることはありません。仕方がないのでいつも私がその子に『やめなさい』と言っています。こんなことが毎日数回で、さすがに自転車で足を何度もひかれた時には母親に注意しました。その子は単語ばかり話し、母親とですら会話が成立できません。母親も発達レベルは１歳半くらいと言っていました。だからといって、うちの子に毎回ちょっかい出されるのは不愉快です。
そばで遊ばないようにしたいのですが近所なので、逃げても見つかります。『乱暴やめたら遊ぼう』と言っていいのでしょうか？母親がちょっかいを出す前に子供を抑えて、しつけてくれたら良いのですが、子供の自由にさせたいようで、こちらが痛くて迷惑していることは話しても分からないようです。うちの子は論理的に話し、かなり大人で人に手も出さず、素直で言うことは聞きます。戦いごっごは嫌いで、プラレールが好きです。おとなしい方と思うけど、自転車で爆走、大声で歌い、他の小さい子達の面倒も見て、近所のおばあちゃんと畑の水やり、収穫を楽しくやっています。その子に手を出されても一度も手は出さず、口でしっかり意思表示をしています。
その子のちょっかいも嫌だけど、手を出す前に止めない母親に対し、かなり憤慨しています。発達も遅いようでかわいそうだけど、こちらも痛い思いは嫌だし、不必要な防御も毎回したくないです。遠ければ自然に疎遠になれるのですが、近所ということで困っています。うちの子は遊びたがります。どのように対処すればよいのでしょう？