私が飲み会だと自分はもっと遅く帰ってくる夫（駄）

　結婚３年目子どものいない共働きです。題名のように、たまに私が会社の歓送迎会があると伝えると（夕飯は自分でお願いと言う意味）、わかったといいます。
せいぜい月に一回もないのですが、必ず、午前様くらいに飲んで帰ってきます（先日は３時）。気持ちもわからないのではないのですが。まるで対抗して遅く帰ってきてるような。夫は普段は仕事も結構遅いので、だいたい９時か１０時頃帰宅し、必ずうちでご飯を食べます。
私が飲み会じゃないとほとんど飲みには行かないですし、夫は個人事業主なので、たまに知人との飲みがあると私も呼びます。私が飲み会だと自分もおもいっきり飲めると思ってるのか、別に悪いとは言えないんですが。
　みなさんの旦那さんはこんなことはないですか？ちなみに私は結婚してからは二次会も行きませんし、飲み会でも１０時には帰宅しています。なんか自分の飲み会の後、何時に帰ってくるのかなーと気にしてしまうし、すごく疲れます。夫には文句は言ったことないんですがね。さみしいのかなあ？