子供が現地の環境になじめません

５歳になる息子について相談させてください。

ヨーロッパ、非英語圏に1年半前に移住しました。父親の母国です。
現地の幼稚園に通いはじめて1年です。

以前日本にいたときから、もともと言葉が遅く、日本語も他の子より1年くらい遅れている状態でした。
今はだいぶ日本語の語彙も増え、発音以外は割と気にならなくなりました。
こちらの発達外来の先生には、言葉（現地語）以外の問題はない。と言われています。
現地語は父親が本人が小さいころから話しかけていたのですが、言葉が苦手なようで、結局日本では全く話せるようになりませんでした。
今は簡単な現地語なら分かる程度にはなりましたが、お友達と話せる状況には程遠く、文章などは作れません。

現地の幼稚園ではいつも1人でいて、あまり他の子と関わり合いを持ちたがらない。と先生に言われました。
本人は、皆がいじめるから遊びたくない。怖い。と言っています。
先生に何度相談しても、注意してみます。ばかりで状況の改善が見られません。
他のママは、こちらの幼稚園は先生次第で、この幼稚園ははずれね。と言っています。
日本の幼稚園では、いつもお友達と一緒に遊ぶのが大好きで、とても活発なタイプでした。

最近息子が、ヒステリーに怒ったり、泣いたり、とてもストレスを抱えているようで心配しています。
質問は、
このままこの状況で我慢させるべきか
現地で引っ越して幼稚園を変えるべきか
それとも日本に帰った方がいいのか（主人の仕事は今年の夏から日本でも出来ます）
です。
このような経験のある方、いらっしゃいましたらアドバイス頂けると光栄です。