主人の単身赴任とマイホーム

３０代の夫婦で主人は転勤族です。 子供が２人(４ヶ月と１歳)いるのでそろそろマイホームを建てて主人は単身赴任という話がでています。 主人の仕事は、夜勤などもある不規則な仕事の為、会社の規則で勤務先から2キロ以内に住む条件があります。なので家を買ったその時から単身赴任は決定しています。ちなみに転勤先は地方になる事もあります。 主人は一人っ子で義父は亡くなっています。なので、義母の家の近く(私の実家からは高速で２時間程度)に家を建ててゆくゆくは同居する予定です。 義母は中々の勝気な性格で何度か揉めた事もありますし、１度だけ耐えきれずに言い返してしまい喧嘩になった事もあります。 義母は悪気があるのか無いのか、かなり無神経な事を言ってきます。最初はその都度腹を立てていたのですが、今はその事で夫婦喧嘩になるのが面倒になり嫌味？を言われても流せるようになりました。なので前程、義母の事も気にしなくなり、それなりに上手く付き合っていけるようになりました。 ただ今回のマイホーム計画は本当に気が重いです。マイホームは子供が小学校に上がるタイミングでいいんじゃないの？とも思うのですが主人はかなり乗り気になってます。 単身赴任生活はかなり長くなると思います。その間にきっと義母と同居する日が来るでしょう。それが過酷な介護生活になるかもしれません。そんな中、夫は休みの度にパチンコ行くんだろ～なとか、子供の多感な時期に私１人で大丈夫なのかな？とか不倫とかしてるのかな？とかとか…分かりもしない将来の事を１人で考えて暗い気持ちになってしまいます。 この気持ちを主人にぶつけてみたのですが、何を今更言ってるの？と呆れられ話し合いにもなりませんでした。 旦那様が単身赴任で義理の実家と同居もしくは、近くに住んでいる方は上手く生活できていますか？？何かアドバイスを頂ければ嬉しいです。