上司に謝りたいのですが・・・

以下、長文・駄文申し訳ございません。 上司と2泊3日の出張での出来事です。 2日目の夕方ごろですが、ホテルチェックイン後に上司に「飯どうする？」と聞かれました。私が「お腹が空いてなくちょっと疲れてしまったので休もうと思います。」と言ったところ上司が不機嫌そうに「そう」とだけ言い、一緒に待っていたホテルのエレベータも空いてるにも関わらず「どうぞ」って言っても「いや、いいよ」と言われてしまいました。 一緒に食事をできなかったことを謝ろうかと思うのですが何と言えばよろしいかご助言いただけますと幸いです。 「昨日はお食事ご一緒できずすみません。」だけで大丈夫でしょうか。 よろしくお願いいたします。 【補足】 上司は永遠に喋り続ける人で出張1日目は23:00頃にホテルに着いたのですが、その移動中もずっと隣に座られて話しかけられていたので、私もイライラしてしまい、上司に少しイラついた態度をとってしまったのも原因の一つかもしれません。 上司の話の内容が仕事に関係あるものだったら私もちゃんと聞きますが、前職の功績や前職の良さなどを語られても興味が湧かず、適当に相槌を打って聞き流していました・・・。