旦那の外呑みが多いです

はじめまして。
結婚して7年目、子供はいません。
私はパートで働いてます。34歳、旦那は36です。
この数年、旦那の呑みが多くてなんだかさみしいので
相談させて下さい。
職場の呑みのお誘いが多いです、週3くらい御前様です。
呑みでない時も帰ってくるのは遅いです。
だいたいメールがくる時は○○さんに誘われて…との内容です。
最初はストレス発散と、職場の立場が中間なので、上の人、後輩とのコミニケーションは大事だろうな
と思い了解してきました。
ちょっと私が具合悪かったときまっすぐ帰ってきて欲しいなと思っていましたが
派遣さんがその日で仕事納めだったそうで、その人ととりまきの方達と呑みでした。
今日俺ほんとに行ってきてもいいのかな？と聞いてきました。
若干、イラっときました。
いい顔はできませんでしたが、聞かれちゃうと、行って来な～って言うしかない気持ちになり、後々思うと
微妙な気持ちになりました。
週3ペースは多いと話しをもちかけ話し合いをし、断れないの？とも聞きました。
今後気をつけるし、多いと思うとも言ってました。了解してくれましたが、また最近復活してきてます。
上の人にはおごってもらえてるか安い所に行く感じで2000円くらいだそう。
久しぶりに私も職場の呑みで、今日いってきました。俺は帰ってのんびりするよ、と言っていたので夕飯つくって用意もしてました。
っていうか、これつくってもらえたらそれでたべると前日言ってきました。
家にいるならと思い、一次会で帰って来ましたがメールで呑みの連絡あり…。
電話しても出なかった……。はぁ…。またか…。
帰ったら、おかえり！と言ってもらえる人がいる！って思たのに…。
なんだかさみしいのと、何とも言葉ではいい表せない怒り感。
こちら側は今後も理解したほうがいいのでしょうか？理解ではなくもう我慢って感じになってます。
若干我慢の限界です…。