パートを辞めたい

私は30代前半で主人(30代半ば)子供4人(2人は小学生2人は保育園児)です。 相談内容はパート先の事についてです。今製造業の仕事を4年ほどしています。3～4人が1チームになって作業しています。私はそのチームで1年ほど前からリーダーとして製品の管理を任されています。作業内容自体は好きなのですが、自分自身リーダーとしての素質が全く無くとにかく苦痛でしかありません。 一番の悩みが私以外の作業者が私より一回り以上年上。作業中や作業後のトラブルがあればリーダーとして作業者に注意しなければならないのですが、私自身年齢関係なく人に注意をするというのが凄く苦手です。相手が年上となれば特に。仕事だから言う時はビシッと言わなきゃいけないのはわかっていてもいざ相手を前にするとかなり言葉を選びマイルドに言ってしまいます。上司にもリーダーに向いていないので辞めたいと言ってみましたが、聞いてはくれず毎日憂鬱に過ごしています。 自分なりにリーダーとして努力してきたつもりですが、もう限界です。リーダーを辞めれれば会社には頑張って勤めようと思っていましたが今は会社も辞めたいです。