先輩男性から告白後、避けられてます

はじめてトピたてました。
よろしくお願いします。

私は30代後半の独身女性です。職場の50代後半の独身男性（Aさんとします）から、以前告白されました。先輩として尊敬はしてるけど、恋愛は無理ですと告げました。ギクシャクしましたが、普通になり4年経ちました。
新年度になり、歓送迎会の予定が決まった頃、Aさんから「職場でできない相談があるんだけど、歓送迎会のあとちょっといいか？」電話があり、私は了承しました。
次の日、職場で二人だけの時にその事について触れないので、Aさんがなんか言うまで話題にしないでおこう、と平素と同じ対応をしていました。
歓送迎会の前日、Aさんからメールがありました。こんな内容です。
「明日は美味しい酒と料理を味わいましょう。もう大丈夫です」
メールに気づいたのが夜遅くだったので、返事は控えましたが、そもそもメールの主旨がわかりませんでした。
翌日歓送迎会のあと同僚と別れて、Aさんからの連絡を待ってみましたが、なにもないのでこちらから携帯に電話をしてみました。
私「どちらにいらっしゃいます？」
Aさん「昨日のメール見てない？ もう大丈夫なんで」
私「そうですか」？？？
その後帰宅中にAさんからメールがきて、「4年間不快な思いをさせて申し訳ない」と書いてあり、今日の用件は再度告白しようとしたんだとわかりました。以前はしつこいほどのアプローチがあったので気づきましたが、今回は全く素振りもなかったので、寝耳に水状態です。
翌日からAさんは露骨に私との会話を避けるようになりました。話しかけるなオーラがあって、仕事上必要な話題もなかなか降りにくいです。
私はこの先どうすべきですか？
職場は私以外、男性ばかりですが、関係は良好です。