パワハラ上司が理由での異動願いは甘い？

３０代子持ち母です。

仕事はパート事務ですが、私と同じ事務所にいる人は上司（５０代女）以外営業職のため、日中はその上司と二人きりになることが多いです。

その二人きりの時、上司は私に対していろんな話をしてきたりするのですが、他の営業職の方々がいる場では、私のことを大声で怒鳴ったり、「どうせ事務なんだし（ラクでしょと言いたい）、みんな忙しいんだから手伝って」と平気で言ってきます。

そして自分の失敗は私のせいにし、言ったことはコロコロ変わる、やってないことを「やった」と言い張る（出してない書類を「出した！」と言い張るのはもう数回目です。先日も出したと言われていた書類をその上司の机から発見しました）、などなど・・・。
私はパートで子どものお迎えもあるので他の方より早く帰らせてもらうのですが、「お先に失礼します」と言っても、いつも無視されます。
（他の営業の方が言うと、大きな声で「おつかれさま～」と言い返します）

機嫌が悪い時は、とことん私が標的にされます。

こんなことがもう３年続き、私ももう限界です。
こんな理由で異動の願いを申し出るのは甘いでしょうか？
（パートでも異動はあり得る職場です。）


さらに上の上司への相談も考えましたが、この女上司はどんな上司にでもたてつく性格で、みんな腫れものにさわるように接しているのが現状です。
それに仕事はできるらしいので、見て見ぬふりという感じです。