上司に相談しても改善されないとなると、退職勧奨の可能性があると思いますが、なんか心当たりありますか。人事とか社内で相談出来る部門があればいいのですが。

感情をいれない対処が出来るようになりましょうね。

仕事が終わらないから自分判断で残業していませんか？
上司の残業指示を受けていますか？
残業手当はついていますか？
この３点を書かなければ無駄なアドバイスが来ますよ。
出来れば業務内容も書きましょうよ。
翌日に持ち越せるかの判断材料になります。

先ずは
「少々仕事が残ってしまいましたが本日はこれにて帰ります。」
と言って返事を待ちましょう。

さっさと次の仕事を探しませんか？
今なら、まだ、転職の芽があると思います。
景気も上向きで、転職を考えるのなら今かと。
「他の人と違う」というのは、意外と心に堪えるものです。

転職しましょう。

上司は貴方に期待があるから任せているのかも!?

同年代で、同じような状況だったため、思わずレスしてしまいました。

私も業務量が他者と比較して著しく多いです。
残業代も出ないのに、皆が定時で帰宅しているのを横目に終電まで会社に残ったりしていました。
最近昇給の査定があったのですが、明らかに結果も出してるのに納得いく評価もされませんでした。

トピ主はきちんと評価されていますか？
給料等で見返りを感じられるのであれば、そんなに悪くないかもしれませんよ。

私は今回の査定の結果で、ぷっつりと糸が切れました。
「くだらない」「ばかばかしい」としか思わなくなり、私も定時で帰宅するようになりました。
仕事が残っていてもです。
きちんと仕事をするから、仕事がどんどん回ってくるのです。
私は転職する方向で考え始めたので、どう思われようがどうでもよくなっています。
残業をしていた私が急に残業をしなくなったので、周りもおかしいと思っていると思います。

転職エージェントに相談して私は心が少し落ち着きましたので、
エージェントに相談することをお勧めします。
私はステップアップの転職しかしないつもりなので、すぐに次が決まるとは思えません。
もう少し今の会社にいることになると思うのですが、急変した私が今後どのように会社に扱われるのか・・・。

そういう会社は辞めて新しい職場を探されては如何ですか。恐らく上司は主のことが煙たくなり退職に追い込みたい為に嫌がらせをしているのだと思います。主がその会社にまだ執着したいなら、その上司より更に上の上司（社長）に相談されては。社長に相談をしても変わらないならそれまでの会社です。会社や上司にとって古株の人間は社内内情も把握しているうえ、何かと会社の方針に口出しをしてきて反発し、うるさくなる（目の上のたんこぶ）なので辞めさせたい対象になっているんだと思います。会社としては解雇をするには難しいから自主退職に追い込む魂胆だと思いますよ。

あなたの状況からすると、明らかに上司からの同僚との差別と嫌がらせですね。
上司に再度、同僚と同等の仕事量に減らして貰う様に、文書で提出して下さい。
それに、上司の回答も文書で貰う様に依頼する事。

口頭依頼の場合は、日付け、時間、要求内容と、上司の回答とを文書で記録、
録音しておきます。兎に角、証拠を残す事です。

上司の回答があなたの希望の様に残業を減らしてもらえない場合、
先ず、あなたがする事はアドミニストレーション(人事課)に、
上記の要求内容と上司の回答書類を持って、同僚との残業の差について相談して下さい。

ここでも回答が得られなかった場合、無料の法律相談や弁護士などに相談して下さい。
辞める前にまだあなたが出来る事は有りますよ。

それはヒドイですね

他のサボリ従業員は 雇用主の身内とか縁故関係とかですか？

そんな顕著なサベツガアッテ残業もそんな状態なら上司に 労働基準監督署に相談してみます と一言 言ってみて下さい
改善されると思いますょ

「休憩が長いのに定時に帰ってるから」・・・同じ仕事を効率的にこなしてる可能性は無いですか？

昔職場に定年２年前ですが毎日深夜まで残業されてる方が居ました。
３０シート越えるようなエクセルファイルを作成されるのですが、関数使わず全てセル参照の足し算、引き算で作られてたので動作は重いし参照間違えたら修正が鬼のように大変。
エクセル講座受講、他の方が作った効率的なワークシートを使うことなど提案しましたが頑なに「私のやり方が最も効率的で優れてる」と主張して変わらず、体調を壊され退職されました。

上司だけではなく、人事やさらに上の方に言う事は出来ないのでしょうか？
上司が仕事がただ１人に集中する状態を平気でいるのはおかしなことです。
上手に仕事を割り振るのが上司の役目。
１人の人が遅れているようなら補佐指示するのも上司の役目です。
その役割を上司が果たしてないのではないかと思います。

一人に仕事が集中だと嫌がらせ？にもやっている人から見れば嫌がらせに感じますよね。
他の人達は帰れて、一人帰れない。

仕事が遅いからではなく、抱えている仕事が多いからなのに、改善してくれない。

トピ主さんは正社員さんでしょうか？他で働いている方々は正社員？それともパートさん達？
パートだからバイトだから仕事が少ないのではなくただ時間量が正社員と違うだけ、仕事内容は同じで責任は正社員の方が多いだけです
なんかトピ主さんの職場はルーズなところがあるようだね。
ちゃんと取り締まる監督である上司がいない。
トイレに１時間、ありえません。「具合悪い？じゃ帰りなさい」早退が多いなら後日考える。
タバコにしょっちゅう吸いに行く、仕事に集中してない証拠。決まった時間（休憩時間）にすいなさい。
そういう事がルーズになっていると思いますよ。
トピ主さんだけが残業しているのでしょうか？
他にもいませんか？その方々と一緒に上司とさらに上の人を呼んで訴えたらいかがかとおもいますよ。トピ主さんただ一人だったらトピ主さん一人で行動するしかないかも

出来ないなら、仕事の量が多すぎるという理由で退職でいいのではないかと思います。