自分にだけ当たりが強い人

会社員、女です。職場の3歳年下の男性が自分にだけ当たりが強く、毎日が憂鬱というか面倒くさいです。 年下ですが、入社歴は先輩です。２〜３ヶ月前までは雑談などする普通の仲でしたし、特に当たりが強いこともありませんでした。 もともとぶっきらぼうな人だなぁとは思っていたのですが、最近は話しかけ方が常に責めるような言い方です。小人数の職場で、男性の比率が高く、女性は私を含め３人ですが、他の人とは普通に話しています。 その２人の女性が大きめのミスをしても笑って許しているのですが、私が少しでもミスをすると鬼の首をとったように責められました(ちなみに彼には全く関係のないミスでした)。 地雷になるようなことをしたのかもしれませんが、特に思い当たる節はありません。 嫌いなら距離を置いてくれればいいのですが、自分から時折話しかけてきてその対応なので、どう接すればよいのかわかりません。 私は仕事に差し支えない連絡と挨拶のみに徹すればよいのでしょうか？うまく説明できず、愚痴のようになって申し訳ありません。 また、彼は今まで在籍していた人でも性別問わず合わない人とは距離を置く人のようでした。同僚の女性からは、話しかけやすいから甘えているのでは?と言われましたが、そんなの正直ごめんです。