出入り禁止！

現在、小４(女)、小２(男)がいます。
住んでいるのは農村地帯（うちも農家）で隣の家まで数百ｍといった所です。
町内に祖母宅がある小学５年と３年の兄妹が遊びにきます。
来るんですが、夫はその兄弟が嫌いで（３、４年前リビングを直した、その１週間後に床に２ミリくらいの穴を開けた）、仮にうちの子供達が家に上げたとしても外へ出るよう怒鳴ります。

私から見れば、今は何かを破壊するような行為もなく、大人しく遊んでいると思われますし、もちろん遊んだ後片付けもしています。
昨日(９日)も遊びに来て、つい上がりこんだ（多分暑かったから）のでしょうが（小学生に一々監視するような真似はしたくないので）、見つけるが早いか、夫が上がってきて「外で遊ぶように言ったのに！早く出ろ！」と。
ついでに私に「なんで外で遊ぶように注意しないんだ」とも。

その後、夜になって「もうあの兄妹は出入り禁止にするからな、遊びたいなら向こうの家に行って遊んでこい、電話が来たら、そう言うんだぞ」と。
彼らの祖母の家も農家さんです。
当然町内会の集まりにもお互い参加して顔を合わせることもあります。
兄妹のお父さんと夫は同級生です。
なのに、しかも子供に向かって出入り禁止とは…
夫は近所づきあいは、あまり良いほうではないと思います。

暴力こそありませんが、平気で子供に向かって「頭おかしいんじゃないのか？（冗談のつもり？でも子供は発達障害児）」と言ったり、女は仕事もして、家事も育児も全てするものと思っているような人です。
兄妹のお母さんと私も仲良くしてもらっていて、相談など夫のこともよく知っていますが、出入り禁止のことをどう話したらよいものか、さすがの私も困っています。
ストレートに言ったほうが良いのか、アドバイスをよろしくお願いします。
長文を読んで頂き、ありがとうございました。