私のせいで子供が寂しい思いを

小学生男児2人の母親です。
下の子が小学生になったので6月から10年振りに工場のパートで働き始めました。しかし、私が他のパートさんと馴染めないせいで子供たちに辛い思いをさせてしまいました。　

夏休み期間は学童には行かず、職場の空き部屋の一室で子供たちは他のパートさんの子たちと一緒に仲良く遊んで過ごしています。
お昼休憩は小学生の子を持つパートさん4人、子供はうちの子2人を含めて8人います。みんなでお昼は一緒に食べますが他のパートさんたちはもう何年も前から働いてて下の名前で呼び合うくらい仲良しで結束力も高そうです。
私はそのグループになかなか馴染めず、元々人見知りでコミュ力引く、特に複数のグループでの会話が苦手なので何も会話が出来ず黙ってしまう日もよくあります。子供にまで何でママはみんなと話さないの？と言われてしまうくらいです…。

おととい、お昼休憩に行こうとしたら他の子供たちとパートさんがみんな一斉に帰って行きました。うちの子2人だけ残っていて、みんなで今からボウリングに行くんだって。僕もみんなと行きたかったな〜と寂しそうにしていました。
午後からは仕事中もずっとそのことばかり考えてしまい、私がもっとみんなとコミュニケーションを取って仲良くなる努力をしたら誘われていたのかな…と思ったし、何より息子たちに寂しい思いをさせてしまったことが辛くて仕方ないです。
今後も長期休みはありますし、子供絡みでこんなことがまたあるのかと思うと辛いです。
仕事自体は嫌じゃないし業務中はパートさんたちと普通に話しますが昼休憩がとても気が重いです。
もっとコミュニケーションとってみんなと仲良くなる努力をしなきゃ…
あ〜…もう辞めたいな…
と頭の中で堂々巡りしています。