「離婚」の言葉に怯えています

結婚25年の40代の妻です。夫は１つ年上で成人した子供が二人います。
ここ二年位、夫は逆切れしてすぐ「離婚」と言います。
若い頃から、仲良くても何かを話合う事はしてくれない（嫌がる）人でした。
10年以上前、当時浮気をしていた夫から「離婚してくれ」と言われた事がありましたが、子供がいた事、私は夫が好きだった事もあり、私が謝って離婚は回避し、その後は比較的仲良くやってきました。二人で旅行にも行きます。
最近、もともと酒豪の夫は、仕事がうまくいっている事と多忙とでストレスが溜まるといい、家で飲む回数が減った代わりに午前様で帰る日が週に３、４回になりました。（浮気をしている様子はないです）
酔って帰ると怒鳴ったり凄んだりするのでアルコール依存症なのではとも思いますが、飲酒は意識的に週５日ぐらいまでにしている様子なので、夫は改善するつもりは無いようです。
深酒による身体の心配と私の寝不足のために少し早目に帰宅してくれるよう頼みましたが、全く聞き入れてくれません。
「嫌なら出て行け」「気に入らないなら離婚だ」いつもそればかりです。
私は過去の夫の浮気以来、夫が帰宅するまで布団の中にいても寝付く事ができません。
夫にその事を話したことがありますが「医者に行って自分で何とかしろ」と言われました。
酔っていない時も気にいらないと「離婚」と簡単に言い、近頃は酔って帰り「離婚」「出て行け」「顔も見たくない」「弁護士に頼むから」と言われました。
機嫌が良いと「離婚は冗談」と言います。普段は家庭の事もやってくれ、協力的な夫で優しい時もあります。ただ、自分の思いと違ったり気に入らないと態度（目つき）が豹変します。言っている時は本気な様子です。
私は夫を好きなので離婚は考えていません。でも精神的に疲れました。どこか話を聞いてもらえる所が欲しいと思います。
アドバイスをお願いします。