自分が弱すぎるのでしょうか？

どうにも考えがまとまらないので、ここに書き込むことにしました。 社内で結構仲良くさせてもらっている社員の男性（30代）がいるのですが いつも、ふとしたことで険悪になります。 ニコニコ話してたのに、急にけんか腰になるのです。 私が即答できなかったりと、何かしら理由がある場合はまだ納得なのですが 他の部署から渡されたものを渡したり、悪い情報を伝達したりすると 途端に口調が変わります。 けんか腰で私が責められるのです。（そう感じるだけなのかもしれませんが） いつも恐怖のあまり委縮してしまい、それからしばらくドキドキ感（悪い意味での）が続きます。 自分は派遣7年目、相手は社員さんです。 上司だから何も言えません。 正直、疲れてきました。 でも仕事上、会話しないわけにはいきません。 どなたか、なんでも良いのでアドバイスをお願いします。