休暇の取得について

わたしには遠距離恋愛中の彼氏がいます。 彼は海外に住んでいるので会える頻度も多くて月一回位です。 わたしは仕事柄、有給がたくさん取れるわけではないので、 たまに交代である土曜出勤日の代休を当てて、休みを取っています。 土曜日の勤務は四つのグループに分かれていて、基本的に月に一度ほどなのですが、他の人が予定の合わない日はその人と交換して出勤したりする日もありましたし、他の人も特になにも言われてる様子は見たことがありませんでした。 会う予定が一月に出来た為、一応勤務の日付を代わって頂きたい旨を代わってもらう方に確認して（この方の前回の勤務の際にわたしが交代して勤務したので）快く了承していただいた後に、担当の上司に報告したのですが、 「一年前からグループは決まってて計算すればわかるはず、わかってる人は変えてなんて言わないし、かぶらないように予定を組むのが常識でしょ、どうせ遊びでしょ？連休にしてさ、お葬式とかでもないのに」と言われました。 ただこの上司は土曜出勤は今年度一度もしていないですし、有給もたくさん消化しています。 わたしは今年度代休以外に有給は消化していません。 代わってもらえると当事者に了承を得ているのにそのようなことを言われる筋合いはあるのでしょうか。 腹が立つしとても疑問に思っています。