社長からの飲みの誘いを断れず

私が働いている会社は小さく、設計事務所に近く、メインの仕事は女性3人、経理の女性が１人という構成です。 社長との距離は比較的近く、自分で言うのもどうかとは思いますが、娘のように可愛がって貰っていると思います。 この社長に、ボート(10人ほど乗れる、海にも出られるような物)の試乗に行こうと言われました。社長は気まぐれに色々欲しくなる人です。 そこに私の誕生日が重なり、ボート乗せてやる！みたいな感じでした。 楽しそうだとは思いましたが、仕事が詰まっていたため、(試乗は平日の15:30に予約していたそうです。)仕事が終わらないので、難しいですと伝えました。 社長も、来週にするか、、という雰囲気だったのですが、その日仕事で少し外出して戻ると、社長から今すぐ行くよ！と言われました。 無理です、と言ってもメイン業務を担当する、同い年の一番の先輩には話したから、と言われ。直接確認もしましたが、聞いてるから行ってらっしゃい、という返答でした。 仕方無く試乗の場に行き、終わったのは結局定時でした。 社長に飲みに行こう、と言われましたが、月曜の用意が全く終わっておらず、事務所に戻りたいと言ったのですが、ちゃんと言ってきたし大丈夫！飲もうと楽しそうにしている社長に、結局断れず飲みにいってしまいました。 飲みに行く前に事務所に連絡は入れたのですが、社長を宜しくと言われ、すぐに電話は切れてしまいました。 結果、私が戻らなかったため、他二人は20時近くまで残業したそうです。 そのことについて週明けに謝罪はしたのですが、同い年の上司の方に、そもそも何で飲みに行ったのか。裏切られた。考えが浅はか過ぎる。と言われました。 ですが、社長の言葉をどれほど断って良いものですか？ 自分に非があることも自覚していますが、もやもやも残ります。 皆さんどうしますか？ 長く、分かりにくい文章ですみません。