先輩に仕事をしてもらった結果

事務職で働いている20代のひなこです。
40代の先輩とペアで働いているのですが、仕事の分担は別れていて、別々に仕事をしていました。
昨年の半ばから先輩が私の仕事をやりたいと言い出し、断っていたのですが強引に仕事を奪われ、私の仕事を引き受けてもらう形になりました。
それからは日々、定時に帰っています。
先輩は残業がしたかったようです。忙しそうにしていましたが、自分で言い出したことだし手伝わずに帰っていました。
もちろん時折、私の仕事ですしやりますと言っていましたが、自分でやりたいの一点張りでした。

しかし、そのうち私が仕事をしてないのでは、人に押しつけているという話を人伝に聞きました。どうやら先輩はかなりの残業をして、業務改善をするように言われたようです。
先輩は仕事のできる方で尊敬はしていますが、残業のために仕事を奪われた私が批判されて、すごくモヤモヤします。

ちなみに専門的な仕事ではなく、私でもできる仕事で能力の差はありません。

この場合、私はどのような対応をすればいいのでしょうか。