退職時「不満が有るなら言えば良かったのに～」と上司に言われた

少し前の話ですが、上司（同性、数歳年上）に
「したくない業務は、そう言えば良かったのに～。言わない、あなたが悪いのよ～（笑）」と
最後の送別会の後、一人の時に甲高い声で笑いながら言われました。

酷い待遇で、当初説明されていた内容と実際の職務内容が掛け離れ
とんでもない雑務と、その職場が請け負っているバイトを私がさせられる形で
自分の車も使用させられる様な、公私の無い感じで。
朝の会議も私だけ外に出され、全体の会議の最中は帰宅を命じられたり
有給も貰えず、退職を願い出ても契約期間内はダメと言われ・・・

送別会さえ、申し訳無いので結構ですと話したら、「しきたりだ」と言われ、却下だったのに
最後の最後に、タイトルにした様な言葉を言われ、果たして言えば、現状は改善されたのかどうか。

最初会った時から、この上司、嫌味が酷くて、私の出身地は「訛りが酷いよね～～」とか言って来たんです。
（実際は東京だし、訛りなど無いのに）それが本人は、ズーズー弁話す所出身だったと、後で知りました。
勤務し始めてから、ずっとこんな感じで、同い年のパートと組んで、私を苛め抜きました。

ある意味、こんな事しか出来ない可哀そうな人だとも思いますが、未だモヤモヤします。
契約期間を全うしてしまった自分にも空しさを感じますし。

今更ですが、上司の言う通り、不満を口に出した方が良かったんでしょうか？