両隣りのママ友のことで悩んでいます。

4歳と2歳の男の子のママです。両隣りの、下の子と同級生の男の子ママ、AさんBさんと仲良くなり、
毎日一緒に公園に行き、週1遊ぼうねと約束し、お互いの家に順番に集まっていました。

始めは楽しかったですが、だんだん趣味や育児観の違いを感じ始め。
AさんBさんは気が合っているようで。2人は服の趣味も似ているし、近所の方の噂話や悪口や下ネタで盛り上がることが多く、自分は話に入らないことも。
また、うちは上の子と下の3人の遊びが合わなかったり、下の子のおもちゃを取ったり、体が大きいのでわざとでないけど少しぶつかると相手が泣いてしまったり、ありました。その度に私から親子に謝り、本人にも叱り、謝らせていました。上の子は年下ばかりなので少し退屈そうでした。ママ友の上の子に対する態度が冷たいと感じる時もあり。
誠実に対応してきたつもりですが。

そのうちAさんとBさんだけで出かけたりすることがあり、、隣りなので見たくなくても見てしまうし。
始めは寂しくて、誘ってねと言うと、次は花さんもとその場では言うけど、誘われず。うちは車がないので、遠出のお出かけはお誘いできないので。。

今も週1は集まっていますが、私がわからない話をしたりしていたり楽しい時とそうでない時が。。
下の子は皆と仲良しで遊びたがるし仲良くしたいけど、もう
親密な付き合いはやめた方がいいか？でも隣りだし同級生だしつながっていた方がいいか？フェイドアウトすると私の悪口を言われないか？子供が将来仲間はずれにされるのでは？
正直付き合いはやめたいです。隣りでなければ、2人が悪口を言わない人なら、、そこがネックになっています。
他にもママ友は何人かいますが、みんな悪口は言わないし、付かず離れずで良い関係です。頻繁に会わなくても心配になりません。
AさんBさんとの今後の付き合いについてアドバイスください。皆さんなら付き合いやめますか？