残業代について

小規模企業に10年近く勤めています。
産育休をとり、復帰し、それからは時短で働いております。時短とはいいつつ、子供を寝かしつけた後等にリモートで仕事をすることが多く、他の社員と同様固定残業代がついておりましたが、時短で固定残業代はマズいらしく、固定残業代＋役職手当て、とした総額を役職手当てとして良いか、と聞かれて、そのときは金額が変わらないなら大丈夫と思い、了解しました。
それから段々と社長からのモラハラ、パワハラとも言える言動が目立つようになり、(子供がいるやつは仕事のプライオリティが低い、等諸々です。)ついにあるとき精神的に参ってしまい、1ヶ月ほど休職をしました。お休みをするとみるみるうちに体調がよくなり、転職活動をして、転職することとなりました。退職する旨を社長に伝えたところ、役職手当は外させてもらうと言われたので、固定残業代はどうなるのかと伺ったのですが、時短だと残業代という名前でつけるのは難しいんだよね、と言われました。その後給料明細をみると、役職手当てが全て引かれて0円になっていました。もちろん、違った形での残業代もついていません。私は給料明細をいただくまで知らなかったので、残業してしまいましたし、社長からも何も言われていません。さすがに腹が立ったので、残業代がついていません。と申し上げたのですが、時短勤務に残業代なんてつけられないよ。と言われ、役職手当てに残業代が入っていた話をすると、そもそも残業代なんて最初から払っていないと言われました。それでは、残業代は未払いでよろしいですね？と申し上げると、すごい剣幕で怒鳴られました。
もうすぐ退職する会社なので揉めたくはないのですが、やはり納得ができません。あきらめるべきなのでしょうか。有給消化があるので出勤は後数日です。皆さまならどうなさいますか？