スケープゴート？私だけおこられる

40代事務フルタイムパートです。約1年になります。
同じ立場で働く人は数人います。

ある日、イレギュラーな処理をしないといけないことがあったのですが、私には初めてでそれが分からず通常処理をしてしまい、男性社員の一人にこっぴどくしかられてしまいました。理由を問われ、はじめてのことで分からなかったと答えました。
フロアー皆に聞こえるぐらいで、正直驚きましたが、イレギュラー対応をあることを
わかり、その後は気をつけるようにつとめています。
同じくパートの方々もイレギュラーをしらなかったときは間違って処理してしまった経験があることも教えてくれました。
ただ、その後も似たケースで処理を誤ってしまうパートもいますが、その男性社員は
私のときほどおこりません。
（イレギュラー処理については都度変化するのでマニュアルなどはありません）

その男性社員のせいで、そのイレギュラー処理にかかわらずなにかしら誰かのミスなどがあったときはいち早く私に大声で問い合わせてきます。私の処理ではないことなので
その旨伝えますが、他の人だとわかったら自分自身で直したり、当人にお願いして訂正してもらっています。

大声で「ぴーこさんのミスだろうな」なんて私がいないときでも言うので、
関係部署にも私のイメージが悪くなってきています。ミスをした人もそう言わせておけば
自分は彼に怒られないので（おこることはありませんが）ほっておくという感じです。

なんだか損をしているように思います。
そういう人へはどのように対応すればいいでしょうか。