子持ち男性、朝帰りは月何回までＯＫ？

初めて投稿するので不備があったらすみません。
40代フルタイム共働き、高校と小学生の子供がいます。
主人のことでご意見いただければと思います。

仕事は私の方が忙しく、残業する日も多いので平日3日は主人が夕飯を用意してくれます。
残業しない日の夕方主人から「今日飲みに行っていい？」とメールが来れば、残業が多い負い目もあるのでいつも「いいです」と返していました。
主人は2月4回飲みに行ったのですが、ふとした会話で4回とも朝帰りだったことがわかりました。
寝ていて気がつかなかったのですが、いつも最寄り駅から2駅のところにある飲み屋で朝まで飲んで始発が出てから帰ってきていたと。
飲みに行く回数も朝帰りも減らしてほしいと言うと、次の日予定があれば早く帰っているし家族に迷惑をかけていない、昼まで寝ているとしても〇〇（私）も昼まで寝ていることもあるし、それに文句も言わないのだからおあいこだと言われました。
正直主人がいなくて困る事もなく、子供と簡単な夕食で済ませてゆっくりできるので飲みに行くことに反対しなかったという面もありますし、私も家事をしっかりできている訳でもないので昼まで寝てないで家事をやってほしいという思いもありません。
じゃあ何が嫌なんだと言われ、月4回は多すぎるというだけでしたので、結局主人は納得せずこれからも飲みに行くし朝帰りも減らすつもりは無いそうです。
（但し、お酒とタバコにいくら使っているかわからないと言われたので、昼食除く小遣い3万円で収まっているか報告してもらうことになりました。）
それぞれの家庭で決めればよいことですが、飲みに行って朝帰りが月4回は多くないのでしょうか。
ちなみに主人が飲みに行くのは仕事の付き合いではなく趣味だそうで、もし私も月4回朝帰りしても構わないそうです。
ご意見よろしくお願いします。