アルバイト続けても？

つたない文章ですみません；

ついこの間、引越しのアルバイトを経験しました。
３人１組で３件ほどまわったのですが、３件目の引越しで２人掛かりで運ぶ大型のものを立て続けに運んだ後、握力がなくなってしまい、
重いものを運ぶことが出来なくなってしまいました。
その引越し先では、重いものは運ばず、一人で持って行ける物だけを運ばせてもらい、とても申し訳ない思いで作業をしていました。
（体力だけ余っていたため余計に）

その帰り道、トラックの中で「もうやめるの？週１でも来れば良いんじゃない？」といったことを言われたのですが、
また行った時にこのような事態になっては迷惑を掛けるだけな気がします。
仕事自体は、大変でしたが一緒に働いた方達は良い人で、また行きたいと思っています。


また迷惑をかけるかもしれないので控えるべきでしょうか？続けてもいいのでしょうか？
よろしければご助言お願いします。