被災地の実家に戻っても大丈夫？

主人（３２歳）と私（３０歳）と娘（５ヶ月）の三人で東京住まいです。 主人の実家が被災地で、主人は東京での仕事を辞めて復興の仕事をするために実家に戻りたいといっています。実家では義理の両親と義理の兄夫婦が暮らしています。 地震の前までは、子供は田舎で育てたいからそのうち地元に戻りたいねという話をしていました。 主人は一年後あたりに戻ることを目指して、重機などの復興の仕事に役立つ資格を取ってからがいいのではないかといっていますが、被災された方の仕事もままならないのにわざわざ東京から戻ることによって、被災された方の雇用に影響を及ぼすのではないかと心配しています。 私は今育休中ですが娘がある程度大きくなったら仕事をしたいと考えていますが、はたして地元で仕事はあるのでしょうか？（地震の前でも仕事がないから戻ってきてもどうしようもないよと言われていました。） 主人は、実家の空いている土地に家を建てたいとも言っています。（幸い実家は津波の被害はありませんでした。） 義理の両親と義理の兄は戻ってきて欲しいようです。 地元に戻りたい気持ちもありますが、この先どうなるのかわからないし幼い娘の健康や学校などのことも気になります。被災された方の迷惑になりたくない気持ちもあって、どう動いたらいいのか悩んでいます。 どんなことでもかまいませんので、いろいろ意見を聞かせていただきたいです。よろしくお願いいたします。