自分は人の上に立つ器ではない

初めてトピを立てさせて頂きます。

40代後半、現在まだ設立数年の小さな会社の小さな部署で管理職をしている独女です。もともとキャリア志向ではなく、どちらかと言えば上司をサポートするような位置で仕事をするのが好きな傾向にあります。理由は自分があらゆる責任を持つことに自信がないこと、それと自分自身の人間としての器をどうも今ひとつだと昔から感じているからです。
現在の会社には派遣として数年前に入社しましたが、設立間もない時期で誰も担当していない仕事を自分のキャリアアップの為と思い、修行する気持ちで始めさせて頂きました。
自分で言うのもおこがましいのですが、仕事は正確で責任を持って行い、多少気が利くところもあってその部署で初めて社員として採用されました、但し部長として（一人なのに）。表に立つのは昔から常に苦手で、一般職で満足していました。今の職種は経験も知識も浅かったので勉強の為と思って働いて来ましたが、まさか突然部長だなんて。年齢からすると10年遅い、って感じですが、自分は性格上、マネージメントに本当に興味がなく、細く長く働いて生きて行ければ良いとずっと考えていました。
現在正社員、派遣社員それぞれ1名ずつの部下がいますが、どうにも上司としての貫禄がなく、ちょっとしたことを気にしてしまい落ち込んだりイライラしたりの毎日です。責任は勿論以前の何倍も増していますが、部員に少々舐められているようです。
お給料は希望以上を頂いていますが、正直、安くてももっと精神的に落ち着いて仕事に集中したいと感じています。心の底では一般職に戻りたいと思っています。
このご時世に贅沢だ、いい年をして甘い、と言われるのは百も承知です。でも、今の立場でずっと仕事していく自信がありません。

同じような経験をされた方、乗り越えられた方、いらっしゃったらお話をお聞かせください。