パワハラ休職後の異動

今の職場に入社して半年程で上司から毎日のようにパワハラ行為をされ適応障害となりそれから３ヶ月ほど休職しています。
パワハラは大勢の前での叱責、無視、ミスのなすり付け、人間関係の優位性からの贔屓や切り離し等です。
過去に同じくこの上司からのパワハラにより現在も４人が休職（うち３人は現在も休職中）３人が退職しています。
休職してから金銭的な不安や、私の性格上これ以上休むのも逆に良くないとの事で、復職を決めました。
復職後の仕事の関わり方について部長と人事とそれぞれ面談した所、
過去その上司には何度も態度を改めるよう注意し、変われないならこの先は無いと話はしていたそうですが、一向に直らず、人を変えたくてもそのポジションの仕事ができる人が極端に不足しており、変えたくても変えられない状態がずっと続いていると言われました。新しく来た人もその上司のパワハラですぐ辞めてしまうので人材が育ちません。
なので、復職後その上司と今後の仕事がやりやすい様に部長同席で直接３人で話合うか、その上司と関わりたくないのなら、暫くは他の仕事に異動するのはどうかと言われました。
私的には上司と話合うのは精神的に無理なので、残る選択肢は異動ですが、その仕事というのはアシスタントのような仕事内容です。異動でもフロアは変わらない為パワハラ上司と常に顔を合わせる上、
フロアには常に取引先やお得意様が出入り自由で外部の人が常に居るようなオープンな環境の為、
休職から戻って一線から外れた姿を社外の人に見られるのも、パワハラ上司が何のお咎めもなく私が外された元の仕事に関わっている姿を見るのも苦痛です。。
ですが、このような理由で異動を避けるとまだ休職を続けるか退職しか思いつかないです。。金銭的や経歴的な面からも退職は避けたいのですが、このまま上司に変わる人が決まるまで異動先の仕事に耐えるしかないものなのでしょうか。