主人と一緒に海外に行くべきでしょうか

お世話になります。
私の家族は、主人38歳、こども6歳、私32歳の3人家族です。
主人の海外転勤（1年間）に私とこどももついて行くべきか迷っています。
主人は大学勤務で、研究のためアメリカに1年間行くことが決まりました。アメリカから戻ってきたら、もとのポジションに戻れます。

私は、大学で働いていますが非常勤勤務のため、退職すると後任者を入れるため、もとの職場には戻れません。休職扱いも無理な職場です。
主人は、こどものためにも一緒に来てほしいという意見ですが、私は、環境が変わる中での育児がとても辛く、以前、主人の転勤先で、私は精神状態が悪くなり、精神科に通ったことがあったので、(この時は離婚話も出ました）また同様のことが起きたらと、とても恐れています。今は実家すぐ近くに住んでいるので安定しています。

今度は外国なので、日本のように気軽に精神科というわけにも行きません。
苦しくなって日本に戻ってきても、私の仕事場はもうありません。
それでもやはり、主人についていくべきか、最近ずっと悩んでいます。
皆様、アドバイスをいただけないでしょうか。