自転車の帰り道について

現在、介護職のパートで働いてる33歳独身女です。現在の職場は今年の９月から働かせもらってるんですが、面接時の時に日勤希望で職場の上司の方の了解を得て、パートとして雇って貰ったんですが、遅番をして欲しいと頼まれ、遅番帯（21時までの勤務）の勤務をしたのですが、自転車通勤で街灯が少なく人通りも余りない所を通らないと行けないんですが、ある日の帰り道に、何かされたわけではないですが、上半身裸の男性が複数人（10名程は居たと思うんですが…はっきりと見てないので人数は不明です）集まって何かしており、遠目で見て何か嫌な予感？がして遠回りをして帰宅しました。 それが、何度か続いてしまって、恐怖？嫌な気持ちになってしまい、遅番勤務を辞退したいんですが、職場の上司に話して、日勤勤務だけにして貰おうと思うのですが、会社からしたら、迷惑な話になってしまいますでしょうか? 数日しか雇ってない、パートからそのような迷惑な相談をされては、雇って貰えなくなりますでしょうか?