短気で気分屋で仕事ができる同僚

職場では専門知識を有する事務仕事をしています。
同僚（男性）と２人体制で５年ほど同じ仕事を担当していますが、同僚はかなり頭がキレるタイプで、ミスは絶対許さず、仕事にはとても厳しい方で、その傾向は年々強くなっているように思えます。私は決して適当に仕事をしている訳ではありませんし、与えられればそれなりに一人で仕事はできるのですが、自分の頭の回転が遅いことと、１年間育児休暇をとったりで遅れをとっているので、どんどん能力に差が出てしまい、それが同僚をイライラさせてしまっているようです。
お互い高い能力をもって仕事の質を上げていこうねと言われていたし、仕事に対して熱い情熱をもっていることは理解できるので、私も努力しなければいけないと思い、ずっと頑張ってきたのですが、最近はやらされている感というかその厳しさが苦痛で仕方ありません。しかも最近は気負えば気負うほど変な考えになって失笑をかったり、ミスを連発してしまったりします。相手も短気なので、何を言っても否定するし、質問しても「はあ？」という感じだし、正直自分も発言にいちいち緊張してしまう始末です。とにかく仕事に対して今は自信をなくしてしまっている状況で、どんどん神経質になっています。
最近は少しでも嫌味を言われたり、説教されたりするだけで、異常に落ち込み涙が止まらないこともあり、限界がきているようです。仕事をする意味が分からなくなってきました。
正直、嫌いな仕事ではないのですが、負けないように頑張るというには自分のキャパを超えているような気がします。しんどいので、自分の能力がなくて相手に迷惑をかけるという理由で、上司にお願いして配置換えをしてもらおうと思うのですが、これって考えが甘いと思いますか？