転職するか迷っています。

転職するか迷っています。

私は現在事務職についていますが、普段上司と二人部屋で二人きりで仕事をしています。
私が悩んでいるのはその上司との関係の事です。
日によって気分の浮き沈みがとても激しいこと、明らかに私にだけ接する態度が違うこと、気分の浮き沈みが激しいため仕事上のコミュニケーションがとりづらいこと等が原因です。
これだけ聞くとたったそれだけ？と思われてしまうと思いますが、仕事をしに来ているのに毎日このようなことを気にしてしまって機嫌を伺っている自分に
疲れてしまいました。
また自分の性格上、気にしすぎてしまうというのもあると思います。
人事の方にはこのことを相談しましたが、部署替え等はできないといわれました。
いつかは慣れるものかもしれないのですが、気分がいい時はくだらない話や世間話などもされるので、本人は悪気はないのかもしれない、私の考えすぎなのかもしれない、と思うとどうしても転職するという勇気が出せずにいます。
転職するべきか、この会社に残るべきか、皆さんのご意見を聞かせてください。