派遣社員１年生です！

ご意見、お聞かせ下さい！

４月より、ある会社にて派遣社員として働き始めました。
私という人間は、そんなに体力が無い方の人間で、一日８時間労働が限界です。
残業を出来るとしても、１日に１時間までと契約をしています。
ですが、私以外の方は全員、契約社員さんということもあるのですが、残業を２時間とか３時間ぐらい平気でされます。しかも、毎日です！

契約の際に、体力が無いことも言いましたし、残業の無い会社を選んだと思っていたし、営業担当の方からも「残業は、言われた時だけすれば良い」や、「一週間に１日だけで大丈夫！」等と言われていたので、気楽に考えていました。
でも、実際に働き始めて感じた事は、もの凄く忙しい会社で、猫の手も借りたい状態の職場であることが判明したので、無理をして毎日残業をしていました。

今思っている事は、職を変えた方が良いのかな？ということです。
人辺りの良い会社なので、退職をしたいという風に本当は考えたくはありません。
ですが、職場の事や同僚の疲れ切った顔を見ていると、私という人間が、もの凄く迷惑をかけている気がしてなりません。
私が仕事を終えた後に、別の場所から人を借りてきて、私が出来ずに残った仕事をされている事実を知り、いつも誰かに迷惑を掛けているのかと思うと、申し訳ない気持ちで一杯になります。
ただ、派遣社員と契約社員とでは、立場が違うと分かっているつもりです。が、定時で帰る日などは特に、視線が怖い！痛い！！です。
そこで教えて下さい。派遣社員としての心構えってありますか？派遣で働くのが今回が初めてで、分からない事だらけなのです。