上司に反論できますか？

上司（同性、２，３歳年上、子持ち）に影で、友達がいない、夜仕事に行っている等々勝手な推測をされた上、同僚達にある事無い事振れ回れ、とても心外しています。 　 入所当初から、私の事を面白く思っていないのが歴然で、その上司に知らされる事無く、急遽私が雇われ、上司の元に送り込まれて来たのが面白くなかったのだろうと思われます。 だからといって、全てを否定されたり、暴言をストレス解消の様に吐かれたり、いたたまれません。 正直、そこまでされて雇われたくも無かったという気持ちが有ります。上司は、雇ってやったというような接し方ですが。 上司は割りと激しい方で、気にくわないと外部の人でも呼びつけて土下座（まではいかずとも説教）に匹敵する態度を取らせるような方で、その熱意や忠誠心みたいなものをかられて上に登りつめて行ったような方です。 　 反論というか、自分の尊厳を回復させる為にも言い返したい部分もあるのですが、特に私はパートという弱い立場でもあります。 どうしたら良いのでしょうか？