どうでもいいことを話さずに逃げようとする夫に切れました

40代パートを始めたばかり、小学生二人の子供がいます。
夫の趣味は波乗りと友達との飲み会です。
都合が合えば休日平日問わず飲み会、休日は波乗りに行きます。
子供たちは暇な時には遊びの相手をしたり、海に連れて行ったりしてくれるので文句はありませんでした。

ただ、最近は楽しすぎて帰りがおそくなったり、急に盛り上がって飲みに行こうとなると、罪悪感からか電話をしても（これはただ仕事終わったよ、とか今どこ？という確認の電話なのですが）出ない、出てもすぐ切ってかかっていないという（履歴を消すのです！）、電源を切ってしまうなどあまりにも大人げない行動が続き、ついに切れて昨日は初めて締め出してしまいました。

電源を切られた時は私も仕事で子供は留守番していたので、帰りに待ち合わせてレジャー施設に行ったところ大雨が降ってきたので、帰りなら途中で迎えに寄ってもらおうと電話→「今帰り道、後で電話する」、かかってこないので電話→「もう家だから迎えに行けない」次は電源オフという状態でした。
早朝から出かけたから疲れて寝ているのかね、と帰ってみると人気はなく、飲みに行った後でした。帰宅後は深夜でトイレで吐く音がうるさく、私は早朝から勤務なのに全く眠れませんでした。

今回は鍵まで忘れたらしく、自分で電話する勇気もなかったのか、12時ごろ夫の友達からかかってきて鍵を開けてやってくれと言うのであけておいたところまた電話→「帰れというのに帰らないから何か言ってやってくれ」というので「じゃぁもう帰ってこなくていいと伝えてください」と切り、鍵をすべて閉め切った次第です。
夜中じゅう呼び鈴が鳴ってましたが出ませんでした。

翌日も仕事でまた睡眠を妨害された状態での出勤となったのに、
反省するどころか怒っているのでなんだか納得がいきません。
私の行動は間違っているのでしょうか？