転職しますが嫌な予感がします

先日面接に行った時のことです。約束の時間の１０分前に行ったのですが　通された部屋で約束の時間を１０分過ぎて面接官が来ました。特に待たせた事に言及もしません。 面接もいかにも興味がなさそうに貧乏ゆすりをしたり、うつむいたりとても不愉快でした。何か釈然としないまま面接が終わり・・・・ 採用については○○日までに連絡しますと言われたので待ちましたがいつになっても連絡もなく履歴書も返送されなかったのでこちらから連絡してみると不在の面接官に代わって電話に出た人が採用のはずですが連絡はいっていませんか？とのこと。担当者から改めて連絡しますと言われ電話を切りました。その後待ちましたがなかなか連絡が来ないのであきらめかけたときあの横柄な面接官から連絡があり採用を伝えられました。後日オリエンテーションの日を指定され約束に時間に行ったのですがまた１０分待たされました。面接官は私の配属先の上司となる人ですが相性が悪いというか・・・印象があまりにも悪く嫌な予感がします。会社はキレイで営業理念等しっかりしているのですがこの人の下で働くのかと思うとすごく不安です。賞与は業績による、とのことなのでその点も大いに心配です。こんな気持ちで就職しない方がよいでしょうか。