副業のバイトを辞めるタイミング。

25歳OLです。
正社員で働いてますが会社で他の部署の方が原付で大きな事故を起こしてしまって原付通勤が禁止になり車が必要になったので会社に相談した上で購入資金を貯めるために丁度1年前に近所の居酒屋でバイトを始めました。
週に3回、夜20時～翌1時の勤務で時給1400円だったこともあり、さくさくお金が貯まってついに先月マイカーを購入できました。

そこで本題なのですが、昨日バイト先の店長にいつもシフトに入っている金曜日に休み希望を入れていたことを責められました。
希望は29日。シフト表に記載したのは先月の半ばです。
「どうしても出られないの？金曜日は休まれると困る。」
「休む時に仕事仕事って言うけどこっちも仕事。わかってる？」
と言われました。
言い分はわかるのですが…。私だって華金に遊びに行きたいことだってあるのです…。
バイト先は常連さんが多く、私を気に入ってくださり私が出勤している曜日にしか来ないお客さんもいます。
働きやすかったので週一くらいで続けようかと思っていましたがこの調子だとシフト減らすなんて絶対無理な気がするので辞める方向になりそうです。
12月も金曜日に休みたい日があり、また責められそうなので1か月後の12月10日で辞めようと思うのですが急すぎますか？
また、辞められたら困るなど言い出した時はどう対応するのが正しいでしょうか？
店長は口調がきつく怖いのでしどろもどろになってしまいそうで不安です。