異性の後輩と一緒に帰りたくない

社会人の20代女です。私の職場の後輩(男)についてご相談です。 私の職場は4人体制で男性3名と私という構成です。なぜか退勤時全員で帰るのが当たり前になっているのですが、使用する駅が違うため上司2人とは途中で別れる形になります。 そこからタイトルにもある後輩と駅まで一緒になるのですが...。とにかくこの後輩が苦手で！何をされたという訳でもなく申し訳ないのですが、生理的に少し無理、怖いかもという感じです。10分くらいかけて人気のない夜道を2人で歩くのは普通に怖いし、私の方が先に降車するので最寄りを知られているのも何となく嫌です。 私が一方的に思っているだけで露骨に避けるのは後輩が傷つくかもと思うと、先に行くということもできず...。 帰りくらい我慢しろよという意見もあると思うのですが、私と同じような経験、感想をお持ちの方のお話を聞きたいです。よろしくお願いいたします。