周りがどんどんいなくなる

製造業の事務員をしています。正社員です。 入社して7～８年。入社当時は、従業員は約30人そのうち製造現場が20数人、残りが営業・管理部門という体制でした。しかし、今では営業・管理部門は私を含めて3人のみです（その間に入社して退職した人もいるので、10人以上は辞めています）。先日、私以外の２人が退職することになりました（自己都合）。また新たに採用はする計画です。 うちの会社は待遇が余りいい方ではありません（営業は成果を上げれば報酬はアップします）。また、創業者一族である社長と役員２名はちょっと癖のある方たちなので、「合わない」と感じる人は結構いるようです。自己都合で退職される方は大体このどちらかか、両方が理由です。なお、残業は余りなく、有給も取りやすく、働き方も柔軟です。 また、売上減や方針転換によるリストラもありました。人員は減りましたが、新たにシステムを取り入れたり、業務を整理して今の人数でもこなせるようにはなっています。 最近は人が辞める度に、自分が結構落ち込んでしまうようになりました。自分だけが置いて行かれるようなそんな不安感に苛まれてます。かといって転職する勇気も能力もありません。経済的に辞めることもできません。転職できる人や、辞めても生活できる人を羨ましく感じてしまいます。 私自身、今の会社や仕事にほぼ不満はありません。癖のある役員とのかかわりも私はなぜかあまり負担に感じません。転職したら確実に大幅に待遇は下がるし、転職してまた一から業務を覚えて、人間関係を築くのが面倒だし自信がありません。そもそも採用の見込みもないし。 どうしてこんな風に感じるのか、上手く説明できません。 また、どうすればこの気持ちを解消できるでしょうか。