客観的な意見が聞きたいです

1年生と年少の子供がいる夫婦です。夫（48）は自営業、私（46）はフルタイム正社員です。
自営業なので、月の収入がバラバラなのは分かるのですが、9月になり、やっと7月分までが生活費に充填出来た感じです。経理は私がしていますが、現金収入から自分のタバコやお酒を買っています。（なので割と自由）
独身時代はゴルフによく行っていましたが、子供が生まれ、少しは自粛していました。最近になり、また行くようになり、生活費を入れたら行っても良いという約束をしました。
明日ゴルフがあるようですが、まだ、7月分までしか充填出来ていないよ、と言いましたが行くようです。

昨日は、仕事関係の友達に「仕事の話があるから」と誘われ飲みに出かけました。21時頃迎えに来て、と言われていたので、子供も楽しみにしていたけど、電話があり「迎えに来なくていい感じ」と。
居酒屋から、ラウンジへ出かけたようです。それも、元カノがママをしている所へ。仕事関係の友達と、旦那と元カノは、私と結婚する前から、交流があったようなので、久々に、という感じでしょう。
私は、この元カノとの交流もしないで、と過去に伝えています。普通に友達関係をしていたようです。私の価値観ですが、「それはいやだ、あり得ない」と何度も伝えています。

今朝、会社の通帳を夫に返し「もう私は経理をしません。税理士さんにでも頼めばいい。9月中に、2か月分の生活費を下さい。10月からは、毎月入れてください。やることやって遊べや」と切れてしまいました。

多分、堪えていないと思うのですが、
このような状態って、普通だと、離婚を考えてもおかしくないんですかね？
それとも、私が器が小さいのでしょうか。