職場の上司に耐えられない

私（女・20代前半）、上司（男・50代）です。 直属の上司なのですが、まず距離感が近くて気持ち悪いです。 ギョッとして距離を取れば「違う違う」とヘラヘラしながら再び距離を詰めてきて、他部署の社員の悪口を小声で顔を寄せながら話してきます。 また、突然別室に呼び出されその上司と二人きり、しかもドアも閉め切った部屋で延々と悪口を聞かされることも週に一回は必ずあります。 最低四十分は拘束され、酷い時は約三時間それが続きました。 三時間の時は他の社員が上司に用があるフリをして助けてくれましたが、それがなければ定時まで続いていたと確信しています。 別室に呼び出す件は過去の部下にもやっていたようで、すでに何度も注意を受けているそうです。 他にも、その上司は外に用事があると何故か出先に関係のない私も連れて車を走らせ、助手席でやはり愚痴を聞かされます。 予定より早く会社に戻れると分かると、全然関係のない小道に入って車を止め、「なんか相談する事とか無い？」「もっとコミュニケーションをとりたい」と言ってきます。 これまでのこともありますし、安全が保障されていない上司の自家用車の中で何かを言えるわけもなく「何もありません」と答えると、やはり他部署社員の愚痴が始まります。 上司はさも当然のように上記の行動をとるので、全てに対して気持ち悪さを感じる私が過剰なのだろうかと不安になります。 もう耐えられないので人事に相談しようと思うのですが、したらしたで直後に上司に別室に連れて行かれて話し合い、からの最終的に「上司に直接文句を言わなかった私が悪い」という終わり方をしそうです。 怖がって文句を言えなかった私が悪いのでしょうか。 乱文失礼しました。