パート 悩んでいます

事務パート2か月目です。
週3勤務、休憩なし5時間、条件で選びました。入社3日前で通勤交通費が対象外と聞かされました。
少人数の職場で、パートは私だけです。
社員の方は皆黙々と、私語もなくバリバリ仕事をしています。なので私も全く話す機会がなく、緊張&集中しっぱなしです。
私は仕事を覚えている最中なので、疲れるのは当然だと理解しています。
しかし仕事はパターンが複雑で、教えてくれる方とは性格が合わず、質問するにも指示されるにもビクビクしてしまいます。
また質問も指示も、早口でわかる方に説明する感じなので、言われた事をこなすだけで理解できません。メモはしています。新しい仕事を教えてもらうと胃がズキッとします。
仕事を覚えれば、割りきれば、慣れればいい条件だと思い込もうとしています。
ですが、休日も憂鬱で無気力状態、リラックスできず家族に申し訳ないです。
初回更新(3ヶ月)を逃したら辞められない気がして悩んでいます。
このような状態なので、ある程度できるようになる前に辞めた方がいいのではと思っています。
甘い考えだとは思いますが、ご意見お願いします。