夕方から仕事して残業する同僚について

同僚（女）についての相談です。 同僚とは異なる種別の業務をしていて、 隣席なので明白ですが 仕事量は圧倒的に同僚が少ないです。 同僚は毎日よほどヒマらしく、 他社員のスケジュールを頻繁に長時間眺めたり、事務用品の通販サイトをいつまでも見てたりしてます。 （すべて業務に関係なし） 要は、日中は暇潰しに近いことに相当の時間を費やしてます。 仕事がないなら、それも仕方ないかと思います。 が 問題はここからで 朝から夕は、そんな感じなのに、 定時前から急に忙しそうに仕事を始め、残業するのです。 残業稼ぎです。 入社以来ずっとそんな感じでしたので、 隣で真面目に仕事をしている私としては 我慢の限界でしたが ある時 「お互い、不要な残業はやめましょう」 と冷静に伝えました。 　 すると今度は 私が不在（リモートワーク）の日を選んで、残業するようになりました。 社員の残業状況は、社員全員が見れますのでわかります。 私じゃ話にならないので 上司に言いましたが 取り合ってもらえませんでした。 （上司の席からは、同僚の仕事ぷりは全く見えない位置です） それどころか同僚の味方をし、 君は自分の仕事に集中力しろ、と私が諭される始末。 どうも同僚が根回ししていたようです。 その後あるとき 同僚が上司にヒソヒソ私の陰口を言ってるのが聞こえました。 上司も完全に同僚に同調していました。 自分が被害者かのように、同僚はうまく言いくるめたんだと思います。 真面目にやってる私が何故こんな目に遭わないといけないのかと思うと 腹立たしい思いです。。 皆さんなら、これからどうされますか？ どうもならないのですが（笑） 気持の切り替えかた、同僚との向き合いかた、上司との向き合いかた、仕事のモチベーション、経験者だよ、 などなど何でもいいのでご教示下さいませ。 よろしくお願いしますを