夫の朝帰り(20代後半)

私の夫は学生の頃から飲みになると朝までになることが多く、社会人になってからも朝帰りすることがあります。
私もよく一緒に朝まで飲んでいたので気持ちがわからなくはないですが、許せなくなってしまいました。

理由は2つあります。
1つ目は浮気の心配です。
結婚前、付き合っている頃に一度、嘘をつかれて浮気され、とてもショックを受けました。この件は彼も反省していて終わった話ではありますが、やはり朝まで帰って来ない日は嘘をついて女といるのではないかと不安になります。

2つ目はお金です。
彼は学生時代に遊びで使ったクレカの返済や、車のローン残債、奨学金の支払がありお金がありません。
分かった上で結婚したのは私ですが、返済の額までは知らず、最近になって完全に返済するまで5年かかると言われました。
去年、同棲を始める際には初期費用や家具家電等全て私が払い、結婚指輪も私が全額出しました。途中まで家賃は半額払ってくれてましたが、彼の転職もありここ半年は私が全額払ってました。来年結婚式を予定してますが、それも全て私が貯金しています。
私がテレワークなので家事もほぼ全て私がやっています。
そんな中、飲み会で朝帰りをする夫をどう思いますか？
浮気をされてからは「飲みに行くならちゃんと連絡を入れて」と伝え、それでも連絡をよこさないことがあったので「終電には帰ってきて」と結婚前に伝え、彼も了承していました。
しかし新しい会社に入ってから飲み会が多くなり（先輩や上司のお金ですが）終電を逃すことが増えました。連絡してくれるようにはなったし、上司もいる手前帰って来れないことがあるのは仕方ないと頭ではわかっているつもりですが、一般的な20代半ばの給与の私が家賃も払い頑張って貯金してる中で、向こうは飲んで騒いでしているのがどうしても許せません。
どうしても主観的になってしまうので俯瞰的な意見をいただきたいです。