職場でいつも一緒に帰ろうとしてくる男性

職場の男性にと一緒に帰るのが嫌で、アドバイスいただきたいです。 ３か月頃前から今の現場におり、業務について教えてくれている男性の先輩がいます。年齢は私より下ですが同年代です。 現在の職場が駅から少し遠く、シャトルバスもしくは徒歩（15分）の選択肢があり、私が駅まで歩いている、と伝えたところその人は「バスしか使ったことない」と言っていたのに、2日目には「暇だし、僕も歩いて帰ろうかな」と言い出して駅まで一緒に帰りました。 同じ業務をしていることもあり、帰る時間がどうしても一緒になってしまいます。 段々一緒に帰るのが億劫になり、1週間くらい経ったときに「トイレに寄っていくので先に帰っててください」と伝えたんですが、まさかのエレベーターの前で待たれていました。別の日には、「僕トイレいくので待っててください」と言われたこともあります。 ある日、同僚（男性）を巻き込んで、3人で一緒に帰ろうとしたところ不機嫌になり全然しゃべりませんでした。 他の日は、私が「今日は急ぎの用があるのでバスで帰ります」というと、一緒にバスに乗ってきて、さらには帰りの路線が違うにもかかわらず、「●●駅までいくならそこで乗り換えて帰れるので一緒に行きます」と言われ、同じ電車に乗ってきました。 仕事中デスクが隣なので頻繁に話しかけてくるのも鬱陶しく、最近は冷たくあしらったり、帰る時間をずらそうと少し残業したりしていますが、トイレにいったりほかの社員と話して時間をつぶしています。 また、先に帰ったかと思い、同僚とエレベーターまでいくと会話が聞こえたのかトイレからちょうどよく出てきてそのまま一緒に帰る、などが何度もありました。 最悪、現場の責任者に伝えるつもりですが、同じ業務をしていることもあり…波風立てずに解決したいと思っております。似たような経験がある方いらっしゃいませんでしょうか。