強引なシフト

ホテルの清掃をしています。私は障害者手帳を持っていて、身体が弱いので週3契約で入社しています。しかし、必ず週4のシフトにされてしまいます。チーフに伝えても、ホテルの稼働をみて随時シフトを調整するから、今の時点ではシフト変更できない、と言われます。とても圧が強い言い方で、気の弱い私は何も言えませんでした。チーフには障害のことを伝えてあります。なぜなら、「なぜ週3なの？」とわざわざ聞かれたからです。ギリギリにシフト変更されても、予定が立てられず困ります。もしもルーズにシフト変更されなければ、また直談判しなければならず、とてもモヤモヤします。ちゃんと理由があって、多く働けないだけなのに。ちなみに、一連の光景は管理者も見ていましたが、何も言ってもらえませんでした。どうすればよいでしょうか。