ブラックバイト？

アラフォーの主婦です。
週数日の短時間ですが事務の補助のバイトをし始めました。
面接では事務員さんのお手伝いをするお仕事で、事務員さんは私と同世代と少し上と少し下の方々で親切そうでした。
事実、とても親切です。
問題は上司です。私は事務の補助で採用されているのですが、事務以外の仕事を頼んできます。
「それは私の仕事ではありません」と断ったこともあるのですが「事務の仕事はしなくていいから。こっちこっち」と腕を引かれ連行されます。
そんなことが数日続き、気が付けば事務の仕事では無くて異なる仕事をしていました。
事務の補助と上司が頼んでくる仕事では時給が全然違います。
私は元々は上司に頼まれる仕事をしていたので「やれ」と言われれば出来ます。
再度「私は事務の補助での採用で事務そのものの仕事ですら私の仕事では無く、ましてお願いされる仕事は契約にはありません」とお伝えしたのですが、
タイミング悪く私を呼びつけて一緒に仕事をして欲しいと言う方が現れ上司は「ほら来た。そう言うことだ頼んだよ」と手を振って消えていきました。
目の前に困っている人がいるのを無視するのは心苦しいのですが「私は事務の補助が仕事です」と言って背を向けました。
が「ここだけでいいから。ここだけ教えてください。困っているんです」と言われ、私は断れない性格なのでしょうか。教えてしましました。
ならば事務の補助では無くて本業での採用にしてもらえば？と事務の方に言われますが、そうなると拘束時間も長く私生活に影響します。
私は事務の補助がやりたいんです。
上司も安い単価の事務補助で雇い、難しい仕事をさせる方が得ですよね。
本業をしている人達にしても手伝ってもらえて教えてもらえるなら、私の採用なんかどうでもいいですよね。
日曜日の朝6時から手伝って欲しいと言われ流石に限界が来ました。
ブラックバイトですよね？辞めても問題ない？