パート先の都合で振り回されて困っています。

こんにちは。 半年前から近所のショップのパートを始めました20代の主婦です。 パート先からの度重なる労働条件の変更要求に困っています。 もともと週に2.3日午前のみのシフトで、ということで採用されました。 会社のほうも週2日で考えているとのことでした。 私はほかに仕事を持っていますので、双方の仕事合わせて主人の扶養範囲内[103万]にうまく収まる条件でしたのでいいお仕事がみつかり畑違いの仕事でしたが朝は一番に行ってお掃除や雑用も進んでやってきました。 最近になって正社員の方が介護のため一年間休職されることになりました。 その方以外はパート主婦です。 始めにその話を聞いたときは、補充の人が入ってもあなたにはたくさん シフトに入ってもらいたい、（フルタイム+残業）と言われました。 私もできる限りお役に立てればと思い快諾し、一方の職場に 「次年度は抑えて働きたい」と伝えそのつもりでおりました。 が、しばらくして社長が私のシフトが多すぎる、新しい人を入れたら その分シフトはそんなに入れない、むしろ現状よりも収入は減ると思っておいてくれ」というようなことを言われました。 その時点で私は一方の仕事も次年度相当少なく登録していたので（登録制です）「はぁ？！」と思いましたが、仕方なくもう一度連絡をし、なんとか 変更がまにあって、今のボリュームで仕事ができるよう調整できました。 すると、最近になってまた社長が「求人をかけると経費もかかるし補充は いれない」と言い出しました。 そしてまた私にシフトにたくさん入るように言ってきたのです。 ただもう一方も変更できない時期ですし、こちらとしても計算しつつ調整 してるのにころころ都合よく要求されてとても気分が悪いです。 今回はもう無理です、とはっきり言ってもいいでしょうか？ 皆さんのご意見、お待ちしています。