ご近所について

一年前に建売一戸建てを購入しました。
うちには3歳前の男の子と0歳の子供がいます。
周りのおうちも年長さんから0歳までの子持ち家庭が多くある住宅街になってます。
うちはまだ小さい子供なので10～15分子供が飽きるまでの少しの時間をちょこと近所の子供と遊ぶ感じで生活してました。
周りの家庭も生活リズムに合わせてちょこちょこって感じでした。
その中で3ヶ月ぐらい前に小学一年生の男の子と3歳の女の子がうちの斜め前に引っ越してきました。
そこのお家が引っ越してきたタイミングで私は3人目妊娠しつわりで寝込んでいましたので仲良くなるわけでもなく挨拶、ちょっとした立ち話ぐらいの関係でした。
そこのお家はがっつり遊ばせるようで周りも付き合って夜19時ぐらいまで日替わりで遊んでいるようです。
そして今日久しぶりに息子を蹴るタイプの自転車に乗せて散歩してたところ休日だったこともあり小学生とあぶような感じになりました。
ただ一緒に自転車乗ってるだけなのですが息子の自転車と小学生の自転車が当たってしまい当然ですが謝ったのですがそこからずっと当てるなら帰れ帰れ！と言われ続けました。
当てたのは悪かったと思いごめんね。とも一度言って自宅に戻ろうとしたのですがその間も帰れ！と言われ続けさらに殴るフリや蹴るフリなどもしてきました。
その間相手の母親は注意するわけでもなく別のお母さんたちとお話ししてました。
その間息子は泣いてましたし私もわざとらしくもう自転車乗らないから大丈夫だよと言ったりしてたのですが変わらずにです。
耐えて自宅に戻り敷地内で砂場遊びをしてましたがなぜか私の家の前の空き地に集まり出しそこでも帰れと言われました(私たちは敷地内です)
別のお母さんお父さんはおいで～といったりと気を使ってもらいましたがその後はずっと帰れ。
なんだかぷつんときて無言で家に入ってそこからイライラがとまりません。