社内行事についての悩み

30代会社員です 会社の行事について皆さんのご意見を聞かせてください。 弊社では度々社内行事が開催されます。 先日、ちょうど閑散期ということで出社日ですがイベントが開催されることになりました。 いつもだいたい夜の飲み会か午前中〜昼過ぎまでというスケジュールなので、今回も夕方には終わると思っていたのですが、今回はみんな夜まで飲むとの事でした。 ですが、わたしは犬を飼っており この日の集合場所が家からかなり遠く、集合時間も早かったので 一人で留守番をさせた犬が心配で上司に断りを入れて夕方帰り、帰宅後は定時まで仕事をしていました。 私としては家に帰って仕事をする想定でしたし、上司も帰って良いと言ってくれたので帰ったのですが、後日先輩に「社会人の常識としてありえない」と怒られてしまいました。 先輩曰く、勤務時間に開催しているのに途中で帰るのはおかしい。他の人も事情はあるかもしれないのに個人の都合をそこに持ち出すのは間違っているとの事でした。 先輩の言うことは理解はできるのですが、出社時間よりはるかに早く家を出ているのだから遅くまでいたくないし、勤務時間とはいえ仕事じゃないじゃん、と正直思ってしまいます（上司に了解を得ていますし） こんな雰囲気になるならいっそ参加せず1日仕事するのが正解なのかなとも思いますがそれはそれでダメだと言われる気もします。 バカ正直に理由を言わず「仕事がある」と言って帰ればよかったのですがそれはそれで嘘をつき続けるのもどうなのかなと悩んでいます。 先輩を批判する意図はなく、ただ自分が間違ってるのか判断ができず、みなさんのご意見をぜひ聞かせていただけたら嬉しいです。 ※ちなみに普段はフルリモートで働いており、たまに出社する時昼休憩に様子を見に帰ったり、母に様子を見にいってもらっているので、犬を長時間ひとりにさせることはほぼありません。