子供同士遊ばせたくありません

五歳娘の事で悩んでいます。 隣の男の子三歳と同じ幼稚園に通っていて暇さえあれば遊びたがります。親同士が気が合わないので私はいつもストレスを抱えています。相手の親はヤンキー系で、奥さんは妊娠中でいつも機嫌が悪いです。 私は自分から挨拶しますが、頷くだけです。子供達はお互いの庭で遊び、遊んでいいか聞いてから遊ばせます。私も自分の庭に出て様子を見ます。先日奥さんがあまりにも態度が悪かったので、我慢が爆発してしまい、それから挨拶だけにしました。今まで話題を振って笑顔で接してきましたが、挨拶のみで目を合わせないようにしました。それが気に入らなかったのか、登園前に旦那さんがヤンキーすわりでタバコをふかしながらすごい剣幕でにらんできたのです。 怖かったです。こちらは赤ちゃん抱っこして、娘をつれていました。　旦那さんはいつも、赤ちゃんが近くにいても平気でこちらに煙を吐く人です。これからはあまり関わりたくないのですが・・。娘は寂しそうですが、公園や他の友達を呼んだりして、自然に楽しい時間が過ごせたら・・と思います。隣の人とも、距離を取りながらうまくやっていきたいと思うのですが。　よかったらアドバイス下さい。