派遣先の社員さんが怖いです。。

29歳派遣社員の女です。

今の派遣先にきてから3週間ほど経った時に男性の社員の方(30代後半くらい)に呼ばれました。
普段話すことがまったくないので何かな、と思っていると、私が担当している工程の前段階について質問されました。
ただ、まだ前後の作業をはっきり理解できておらず(理解していない私が悪いとは思いますが)、また、正直主語が無く質問の意図も理解できなかったので、わからないと言うことを答えたら、イラッとした口調で、もういいです！と言われました。
その時点で怖いなあと思いながら、とりあえずわかることを伝えようと少し説明したら更にイライラさせてしまったのか、聞き取れなかったのですが、なにか言いながら立ち上がり他の社員の方に聞きに行っていました。

いい歳して怖いとか思うなんて情けないですが、その一件からその方がとても怖く、引き出しを閉める時のバンっという音や、舌打ちしてたりするとビクビクしてしまいます。。
初回が1ヶ月契約だったので、2週間目で次の更新を決める必要があり、その件以外はとてもいい職場だったので更新したのですが、少し後悔しています。

指示を出して頂いている女性の上司の方に少し相談したら、ああいう人だと割り切った方が、と言われました。
業務上その方にはある資料を月に何度か渡さなくてはいけないので今から不安です。

こんな風に考える私は甘いでしょうか…？
今までの職場では居なかった感じの方なので困惑しています。。