たった6ヶ月で異動願、わがままでしょうか？

異動をしたい意思を伝えるべきか悩んでおります。

小さな会社で働いております。営業が１人です。
前任の営業さんがうつ病になり、私が後任として候補に上がり「やってみます」と伝えました。営業を始めて約半年となりますが、パワハラ上司から理不尽なことで怒鳴られることが多く、精神的苦痛を感じております。
上司の怒ってることが理解できることも出来ないこともありますが、内容どうこうより全社員の前で見世物のように怒鳴られる、機嫌が悪いと普段なんともないことでも怒鳴られる、昨日と今日で違うことを言っていて、それを記録して「昨日はこうおっしゃってました」など反撃(？)をすると怒鳴られる、など怒鳴るという行為そのものが精神的に大きなダメージがあります。
「やってみる」と伝えた手前、途中で投げ出すことはいけない、と思う自分と、それでも心が不健康な状態は生産性の面でも自分のことを守るという面でもマイナスなんじゃないかと思う自分がいます。

パワハラ上司と同じく管理職の上司へ異動したい旨を伝えたいと思うのですが、無責任だと思われないか、自分がもっと何が出来ることがないか、悩んでおります。
同じような経験がある方、アドバイスを下さい。
ちなみに小さな会社なので、上司は2人で週1回程度しか出社されないのでコミュニケーションもスムーズに行うことが難しいです。また、社内の人が全員確認できるようメールにCCを入れたり、チャットを送ったりしても基本あまり確認してくださらないです。