単身赴任と自分の仕事

今年の中頃から主人が転勤、単身赴任になりました。 子供はいないのですが、3年位の転勤期間という事で単身赴任という形をとったのです。 私は仕事柄、交代制の勤務で夜勤もあれば休日も不定休です。 主人の休みは決まっているのですが、休日でも夜中でも呼び出しが多く、家に帰ってきても呼び出されてすぐに戻ってしまう事もあります。 私の職場には主人は単身赴任中である事、主人の休みの日を話してあるのですが、子供を持つ家庭が優先されるのか平日ばかり休みになってしまい、休みが合いません。 おまけに主人が帰って来た日の夜中に私が夜勤で仕事に出て行く事もあります。 仕事と家庭のバランスがとれず、ストレスが大きくなり始めました。 仕事を辞めて主人の所へ行こうか悩んでます。 でも、こんな事で退職？3年だけでしょ？って思われてしまうのでしょうか。 皆様だったらどのように解決していくか・・・意見をお願いします。