お隣さん　挨拶程度のつきあいにしたい

保育園に通う子供がいます。
両隣のお隣さんも、同じ保育園に通っています。
それぞれ学年は違うのですが、男の子です。

私は、フルタイムで働いていて、どちらのお隣さんとも、ほとんど顔をあわせることがありません。保育園でも行事で会って、少しお話するくらいです。

お隣のAさんは、ママ友達も多く、毎週、園のママと子供を招いて、飲み会をしています。（深夜12時過ぎまで。）

もう1軒のお隣のBさんも、最近その飲み会に誘われて、参加しているようです。

私も誘われたのですが、飲み会のある日（曜日が決まっています）の翌日は、仕事が必ずあるので、お断りしています。

最近は、すっかりお誘いもされないのですが、その飲み会に参加したあるママから、「つぶあんさんは、誘っても来ないって言ってたよー！！」と言われました。

私としては、そういわれることも、予想していてお断りしていたのですが、
挨拶程度のつきあいじゃダメなんですかね？

みんな、家を買っているので、引越しの予定もないですし、小学校の学区も同じで、何かトラブルがあった時に・・・と思うと、逃げ場がなくなりそうで、これ以上関係を深めるのは、どうかな？と思ってしまうのですが、変でしょうか？

もちろん、子供がもう少し大きくなって、子供同士が仲良くなったら、
行き来があってもいいかなとは、思っています。

自分のスタンスにちょっと自信がなくなってます。