退職による業務調整を良い感じに切り抜けたい

同僚がどんどん辞めていきます。 社会人４年目女です。 大手企業で働いています。 はたから見れば、良い会社に見えますが 終わらぬ残業だらけで若者たちの目は死んでいます。 明日朝から面談があり やめる人のぶんの仕事が増えるのかと思うのですが 私は、以前キツいと有名な上司に当たって 無理をして見事体調を壊しました。 なので人がやめていこうと、無理なものは無理精神で できない程の多い業務は断っていきたいです。 （ただでさえこの先の残業生活は目に見えているので） 辛い職場ですが続けられるのは 幅広い業務の中でもやりがいが持てるものが一部あるからです。 メインの所属課の業務ではありませんが 会社内にやりたい人がいないので、掛け持ちしています。 本題です。 人員が減る中で、所属課の辛い業務オンリーになるかもと不安です。 所属課の仕事が増やせないなら、課外業務を別担当に・・・となる可能性ありかと・・・ メインの仕事の業務は増やすことなく（増やされそうになっても断りたい） やりがいのある仕事は減らされない方法はありますでしょうか。 面談の切り抜け方を相談したいです。