子供のいる近所付き合いについて

こんにちは。子供のいる近所付き合いについてです。
我が家の近所は同年代の子供が住むお宅が数軒あります。
以前から問題行動があり、子供に注意しても直りません。
親に言っても、「すみません～伝えておきます～」と言って、結局直りません。
上の子は小学生ということもあり、幼稚園生も一緒に出ているのですが、
親は全員家の中、もしくは出ていても井戸端で子供を全く見ていないので、子供のやりたい放題です。
私が自分の子供と遊びたくて庭に出ると、庭や玄関などにもついてきて、
ちょっとドアを開けたすきに玄関に入り、玄関のものを勝手に運び出そうとしたり、
「家の中で遊びたい～」と言って上がろうとして図々しいので、気が抜けません。
自分の子と遊ぼうとしても、結局全員を見ることになるので、遊ぶときは公園に出かけていて、近所の子と遊んでいません。
たまに親が出てくると、毎回近所の悪口を聞かされ（表では悪口の相手ともすごく親しくしているように見えます）、その悪口が自分以外全員のことなので、自分も影では言われているんだろうなと思っています。
それも近所と遊びたくない原因です。
よく近所関係のトピなどを見ると、親は親、子供は子供で別に考えるということが書いてありますが、
親に育てられた子なので、親子をどうしても分けて考えられないでいます。（物の扱い方やしつけの面など）
小学生になり、子供が連れてきたお友達ならば、例えその近所の子でも仕方がないと思えますが、
幼稚園児のうちは、今のようにあまり関わらない関係でも大丈夫でしょうか？
挨拶や当たり障りのない簡単な会話はしています。
同じような経験をされた方、どのようにされたか教えてください。