こんな労働環境は耐えられますか？

来春で４年目に入る社会人（男）です。
従業員１０名以下の小規模の会社で働いています。

私は入社してから一度も、就業規則にある終業時刻に帰ったことがありません。
もちろん有給を取ったこともありません。
みんな２２時頃まで仕事をするのが当たり前といった環境です。

すべての原因は社長にあり、超体育会系で、下っ端が先に帰ることは許されない空気があります。
従業員も、本当はもっと早く帰れる量の仕事しか抱えていないのに、
「どうせ早く帰りづらいから」という理由でダラダラ仕事をしているとしか思えません。
事実、社長が休みのときは、みんなプライベートな予定を入れて早く帰ります。

普段は最低でも１時間残業をして、みんなに手伝えることがないかを聞いてから帰っています。
しかしそれを聞いても、半分無視しているような冷たい反応しかなく、
「仕事をしていない」というレッテルを貼られ、結局最低でも２時間は残業しないと帰りづらい状況です。

離職率も高く、辞めた人のほとんどが「帰りたくても帰れない雰囲気」が
理由で辞めています。

これまで社長と何度もこの話をしており、辞めたいと申し出ると、
「やることがないなら帰ってもいい。遅くまで仕事をしていることが
良いことだとは思っていない」と言いますが、しばらくすると「最近早いね」と嫌味を言ってきます。
社長はミーティングの時間も終業時刻後に設定するし、
社長の最終確認が取れないと帰れない案件があることがわかっていても
私的な用事(エステ）を入れて、終業時刻後に帰ってきます。

人生いろんな局面があると思います。
耐えるべきところは耐えておかないと、これから先許容範囲が狭くなって
しまいはなにをしても続かない、ということになってしまうかもしれないという危機感も持っています。

客観的にみて、この状況は我慢すべき範囲でしょうか？
ご意見をお願いします。