お昼休憩や退勤時に話しかけてくる他部署の人について

私はお昼休憩や退勤時は1人でいたいタイプです。 最近業務上接するようになった他部署の年配の方と話すようになり仕事の付き合いで3回ほどご飯に行きました。（貸し借りが苦手でご飯代はしっかり払っています） 元々すごく友好的な方ではありましたが、ご飯以降休憩時間でも駅のホームでも私を見つけると隣に寄ってきて話しかけてきます。 冒頭のとおり、1人でいたい時間に話しかけられるのでストレスです。 あと距離感を急に詰められるのも私は得意ではなく、正直鬱陶しいです。 悪い人ではないので傷つけたいわけではありません。それに業務がやりにくくなるのは面倒です。傷つけずに1人でいたいことを伝えるにはどうしたら良いでしょうか。 ちなみにイヤホンをしてても話しかけられます。眠ったふりをすると流石に話しかけられませんでした。退勤時間もよく被り、最寄りの駅のホームは小さくすぐ見つけられます。 かと言ってこちらが早く帰れる電車を見送って20分後ろの電車に乗るのもなあと思ってしまいます。最近はこの方を避けるために自分の好きなように休憩できなかったりホームで見つからないかモヤモヤしたりして気が休まりません… 同じような困りごとがあった方、諸先輩方、どうかお知恵をお貸しください。