子宮全摘後の仕事復帰

筋腫の悪化に伴い子宮全摘。
1ヶ月半近くは仕事休めました。
医師からは重労働以外は無理しない程度に働いて…と言われてました…
復帰後は時間外もせず、仕事も無理しない程度にしてくれれば良いよと言われたから無難に過ごしました。復帰半月後…仕事も多忙な時期…上役の計らいもあり出張はしない変わりに会社内勤務に従事してます。

直接上役からは時間外勤務の制限もなく私なりの体調に合わせてしてますが…ある人からは定時退社を言われ叱られています。
気遣ってくれていることはありがたいですが…帰らないと叱られる半面、休むことは許さない。と言われてます…
復帰しないで退職すべきだったのか…気遣いに従うのか…
私なりに体調のコントロールはしていますが分かってもらえないのも辛いです。

皆さんは気遣いにしたがったほうがいいと思いますか？
今のところは病は順調で時間外をしても無事に過ごしてます。