転職活動中　辞めるのが怖いです

入社三年目女です。営業事務をしています。

最近転職活動を始めました。
エージェントに登録し、二回ほど電話で面談をしたのち、求人に応募し始めたところです。

転職したい主な理由は、
・一族経営の建設系の中小企業なので、社風が古く風通しが悪い(女性社員のお茶出し・洗濯・トイレ掃除、泊りの飲み会等)
　 → お茶出しなどをやめたい旨を上司に何度か相談したが一蹴された。
・上司が人の話を聴かない、責任転嫁してくる、八つ当たりしてくる
・新人の後輩が性格にかなり難があり、日中一緒にいるのがストレス
などです。

しかし、最近職場では辞める人が多く人手不足なことと、少人数の営業所内では営業事務が私一人きりのため、後任はどうするのだろうか…本社の先輩方に負担がかからないだろうか…ということが気にかかって、気が重いです。

まだ転職先が決まってもいない中で辞めるときのことを色々考えてしまいます。
辞めます、と上司に報告することと、その理由を言うこと、会社に迷惑がかかることがとてもとても怖いです。

今まで辞職した女性の先輩は、出産のため、精神的な病のため、という理由ばかりで、転職のため、という人はいませんでした。
また、辞めた人のことや辞める予定の人のことを、上司や他の社員があれやこれや噂したり、悪く言ったりというのを何度か目にしているため、自分もそう言われながら数か月過ごさないといけないのも怖いです。

仕事に関しては、やりがいを感じることはあまりないものの、結構馴れて来て余裕も出てきたところです。コロナの影響を受けることもなく昇給やボーナスもありました。ですが、人間関係や、お茶出しやゴミ捨てなどの毎朝の憂鬱なルーティーンを考えると、辞めたい気持ちも強いです。

転職経験のある方、退職の報告や理由はどのようにされましたか？
アドバイスいただきたいです。
よろしくお願いいたします。