仕事を断れない状況になったらどうするか

転職をしましたが、前の会社を退職することになったきっかけとなった出来事について、どうすればよかったのかご相談したいです。 新卒で入った会社で６年目で退職しましが、３年目で部署異動し、３年ほどその場所にいました。 私が配属された課は部の中でも忙しく、残業する人がほとんどです。 また、人があまり入らず、少ない人数で仕事を回す感じです。ベテランの社員は適応障害になっています。（それでも仕事を続けている） 私は、配属されてから時間はかかるけれど慣れの部分も大きい作業を振られており、やりがいは感じないけれどできる業務なので不満なく仕事していました。 しかし、ベテラン社員が適応障害になっているため、その社員の負担を分散しようということで、課のメンバーで分担する会議を上司が定期的に設定しました。 そこで、調査など1番労力がかかる作業や、簡単な問い合わせ業務などほとんど私に振られるようになりました。 一緒にその会議に参加している後輩には何も振られません。 私は結局負担に感じ、またそもそもやりがいがなかったこともあり転職することになりました。 しかし、私にばかり振られたことも大きな原因です。 私以外の人にも振って下さいと言えるほど手が空いている人はおらず、また私も全力で頑張ればこなせる範囲でしたが、気力が沸かずやろうと思えませんでした。 小さな雑務も私によく振られていました。いつも笑って真面目に仕事をしているため言いやすいのかもしれません。 皆さんならこの状況をどう乗りきりますでしょうか。 何でも頼める人みたいに利用されることがすごく嫌です。