うちは日本人夫婦で、子供が１人おり米国生まれでずっとこちらで育ち現在１２歳です。
家での教育、補習校への通学、そして何度か日本に体験入学させた成果か、
子供の日本語は日本の１２歳の子と比べてほぼ遜色ないレベルを維持できています。
漢字も学年相当のものは全部書けますし、日本語の本もよく読みます。

子供の日本語力に関しては、
1. 親がどれだけ日本語教育に熱心か
2. 日本の子と交流する機会（補習校など）があるか
3. 遺伝的に言葉や勉強にどれだけ適性があるか
4. 兄弟構成がどうか（兄弟で英語で話始めると日本語が弱くなる）
といった要素で決まってきます。

トピ主さんのケースでは、1,3,4の点で非常に良い環境ですし、
すでに４年間日本にも住んでいるので
お子さんは全く問題なく日本語ができるようになると思います。
さらに現地にレベルが高めの日本語補習校があれば完璧です。
なければ、夏に日本の小学校へ体験入学させた方が良いでしょう。

むしろ問題は、ご主人が米国で博士を取得した場合
日本に戻らなくなる可能性が結構高いことです。
そうなると、お子さんには必ずしも日本語が必要でなくなります。
うちも夫の大学院留学でアメリカに来ましたが、
現地で仕事に就いたので帰国の予定がなくなってしまいました。
アメリカはそのくらい求心力のある国なんです。

日本語は世界的には弱小言語なので英語だけやっておいてずっとアメリカで
暮らせるようにしたほうが今後のためにも良いと思います。