助けて！職場の雰囲気を良くしたい

なかなか人材の定着しない職場で働いています。
女性ばかりの職場で、上司も女性です。
部署の人数は１５人程度なのですが、ここ１年で離職により６人ほどが入れ替わってしまいました。
そして今年も、仕事仲間としてとても信頼している同僚２人から年度末での退職を考えている、と打ち明けられました。
なかなか人が定着しない理由は業務内容の問題というより「新人教育が十分になされない」「残業代が支払われない」「上司が気分屋で、人の好き嫌いも激しい」等の理由があるように思っています。
特に、上司の人柄に関してはそれだけが退職の理由になるほどとは思えないものの、間違いなく離職の後押しになっていると感じます。
気に入った相手は何をしても許され、気に入らない相手には何をしてもため息をつきつつイヤミを一言付け加えないと気がすまない…そんな方です。
職場全員の前で説教をすることや、部下に対して部下の愚痴をこぼしたり（これって上司からの評価が部下に直に伝わるわけで、ものすごくやりにくいです）、退職した方たちの悪口を言ってくるのです。
上司の愚痴に付き合い始めると、終業から２時間が経過していた…なんてこともザラです。

それでも私は今の仕事が好きですし、せっかくここで働こうと決意してきた同僚たちにも気持ちよく働いてもらいたい、自分自身も楽しく仕事がしたいと考えています。
同僚たちと憂さ晴らしの食事会を企画したり、お互いに励ましあえる雰囲気づくりを心がけてはいます。
それでも止まらない離職者の波…ひとり辞める度に、とても悲しくなってしまいます。辞めてしまう方々がとても有能な方たちばかりなのでなおさらです。
有能であればこそ辞めたいと思うのは当然だし、辞めた方が幸せなのだとも思います。
これ以上の犠牲者を出したくありません。
何か良いやり方はないものでしょうか？