旦那に嫌気

数年前に旦那と不仲になり現在は会話らしい会話はありません。
数年前に私の愚痴をただだまって聞き流してほしいと言ったことに対してお前の話は聞きたくないと言われたことが発端です。

私はもともとストレスを抱え込みやすく、メンタルも弱いです。旦那はここ最近になって地域の仲間ができたようで飲み会にしょっちゅう出かけていきます。帰りは12時を過ぎています。
次の日はだらだらと寝て過ごします。

旦那が家にいるだけでイライラするので、いないほうがありがたいのですが、飲み会が頻繁だし、夕飯いらないと連絡がくるのが突然だったり、とわがままし放題になりました。
子供達もそんな旦那を見て、自分たちも飲みに行きたい、夜更かししたいと言うようになりました。

集まりには近所の主婦もいるそうで、あることないこと噂を立てられてはいないかとひやひやします。
飲みにいくのは自由ですが、自分ばかり連日飲み代を使ったりジムやサウナに行っていたり好き勝手しているところが腹がたって仕方ありません。

生活費はもらっていますが、その中から食費、雑費、塾代や交通費を使うといつもあまりません。私の使い方も上手ではありません。
パートは直近に始める予定です。
こちらから話をすれば圧がかかるような喋り方をするので話したくもありません。
責めれば自分も好きにすればいいと言われるはずです。
一体どうしたらいいのでしょうか。