仕事を辞めようか悩んでいます

38歳、既婚女性です。 5月から接客業のパートで働いていますが、1ヶ月程前から日曜日と祝日のどちらかも出勤してほしいと言われ悩んでいます。 というのは、ハローワークの求人票に平日出来る方希望とあり、経験もあったので紹介状を持って面接に行くと、即採用となり今に至ります。 面接の時にも日曜日と祝日は無理です、と伝えると、それでも構いませんと言われました。 しかし、人数は十分足りているにもかかわらず、1ヶ月程前から日曜日と祝日も出勤してほしいと言われるようになり、無理だと言うと露骨に嫌な顔をされ、嫌みを言います。 他のパートさんが都合が悪い時には私が出ますが、理由は違うようです。 そこで、私が、「面接時に日曜日と祝日は無理ですと伝えて採用になったのに、断ると露骨に嫌な顔をされ嫌みを言われる位なら、辞めさせて頂きます」と啖呵を切りました。 すると上司は、「今までの言動を申し訳ない、期待し過ぎてしまった」と言っていましたが、もう分からなくなりました。 他のパートさん達に引き留められましたが、やはり、これ以上ご迷惑をお掛けすることが出来ません。 私は、間違っているでしょうか。