我慢しなくてはならないのでしょうか？

契約社員で事務をしている４０代女性です。事務３人で仕事をしてますが1名休みがちで困っております。５月にから別の事務所から異動してきたのですが 週５日勤務なのですが異動後まともに１週間勤務したことありません。 自分の体調や子供の体調悪い、親戚や親 が入院した倒れたとか…理由は様々。 ７月に入り体調不良でドクターストップがかかったと診断書を会社に提出し２週間の自宅療養。お盆休み明けから来ますと言ったが休み明けも体調悪い親戚が～ と言いまともに会社に来ません。 彼女の仕事は残りの２人で負担してますがさすがに4ヶ月もこんな状態で負担に なってきました。 噂によるとシングルマザーのためあまり働くと手当てが減額され調整してるのでは？ 責任者は見てみぬふり、無断欠勤してるわけじゃないから何も言えないと 言うのです。 以前の事務所でもこのように休んでばかりなので追い出されたようです。 私も異動願い申し出ようと思ってますが皆さん事情を知ってるため私の代わりにここで働く方はおりません。 責任者がそう言う以上我慢しなくてはならないのでしょうか？ 会社の労働相談窓口に相談しようかとも考えてます。