旦那との今後

結婚して4年目、3歳と1歳の子を持つママです。
旦那と知り合ったのは旦那が大学生の時、私の地元で私が社会人の時に知り合いました。旦那は3歳下で地元が隣の県になります。
卒業の時離れたらダメになるからと帰るのを私が進めたのに自分が勝手に残り就職をしました。
そして結婚をしたのですが、子どもが産まれた時に仕事先での人間関係を理由に仕事に行かなくなり、休んでばかりいました。
私も出産したばかりで仕事は出来ないし、お金もかかり貯金もつきました。
私からしたら旦那にも非があるんです（仕事の始まるギリギリに行ったり、会社の車で3回ぶつけたり…）なので頑張って働いてほしいと頼みましたが、休みがちになり生活費はないしで借金をすることになりました。
それで転職をすることにしたのですが、転職先では前よりは休むことはなくなりました。
しかし、会社での飲み会などがあると二日酔いと言って次の日仕事を休むのです。
みんな同じように飲み会に行って、自分だけ次の日休むとか普通考えられませんよね？
社会人をなめてます。
ちょっとお腹が痛いとか微熱があるとかでも平気で休みます。
学生じゃあるまいし、何度注意しても直りません。
それに元々奨学金はあり、地元の実家は息子と共にローンを組み家を買い、車のローン、借金もあります。
もちろん今の生活ではもうやっていけないので、旦那の地元に帰り同居しかありません。
しかし、旦那の仕事に対する姿勢に信用がなく、付いて行く気になりません。
旦那は帰ればなんとかなるという考えで、義理母も私の資格をあてにしてすぐ子どもを保育園にいれ私を働かせる予定みたいです。
そこで今考えているのは旦那を先に地元に就職させて、1年ほど私達は残り私の実家に帰らせてもらおうかと思っています。（ちなみに私は独身の時から働いているとこに託児付きでパートとして今出ています。）
私間違ってますか？