夫の極端な性格に疲れました。愚痴です。

夫も私もアラサー、子供は幼児小学生の3人います。
先日私の職場の歓送迎会があり、夫の許可を得て参加しました。
飲めない同僚に他の方(女性含む)と一緒に順番に家まで送ってもらったので帰宅に1時頃までかかってしまい、逐一LINEは入れていましたが「遅い、飲み過ぎだ、そんな職場なら仕事を辞めろ、母親だろう」と帰るなり夫に物を投げて大声で怒鳴られました。
夫は週1～3日くらい仕事の後に趣味をしに外出します。
秋の祭の時は地元に2泊3日で帰ってお酒飲んで祭りを楽しんでいます。(私はその間子供達とお留守番、夫から全然連絡来ない)
今まで夫の好きにさせていましたが、カチンときてそのことを言うと「趣味は酒の席じゃないし祭りは仕方ないから俺はいいんだ」と言われました。
飲みすぎたのは完全に私が悪いので申し訳なく思っていますが、年に1回の職場の飲み会とプライベートな飲み会も年に2回あるかくらいなのに、なぜ私は自由にできないんだろう…出かける時も子供の世話や末っ子の寝かしつけもしてから行くのに…家のことは何もせず遊びに行く夫の言うことを聞かないといけないのかと悲しくなります。
「あの日以来毎晩眠れない、仕事を辞めてくれ」と言われました。
付き合っていたときから束縛がひどくて、でも結婚して丸くなっていったのですが、自分の行動が引き金となって振り出しに戻ったのは分かります。
でも眠れないと言いつつ一昨日は寝てるの見たし、昨日も遊びに行っていたのでパフォーマンス？と疑ってしまいます。
私としては正社員になればゆくゆくは夫以上の年収になるし、田舎で仕事もあまりないので辞めたくありません。
夫の性格上、私の職場に男性がいるのが耐えられないのでしょうが、なぜそこまで気にする？と情けなく思います。
今後何回も繰り返すのはしんどいので離婚も視野に入れていますが、私は仕事を辞めるべきでしょうか。