セクハラ被害から解放されたい

今後どうしていいかわかりません。 数年前、上司に好きだと迫られ拉致暴漢されそうになりました。すぐにハラスメントオフィスに通報し、別会社に転職しました。本人への懲罰内容は不明です(異動や停職ではない)。 幸い、新しい会社でいい環境に恵まれ楽しく働いています。しかし、仕事の関係で元上司に会う可能性(数年に一度)があります。そのため、フォーラムなどキャリアのプラスになるものなのに、会うのが嫌で参加できません。 さらにショックだったのが、本人は全く態度を改める気がないことです。別に内心反省していなかろうがどうでもいいですが、加害者として、被害者のいる場所に近づかないくらいの配慮はあると思っていました。(1度参加を控えるよう勧告したところ、不参加にはなりましたがメールで逆ギレ) こちらは何も悪くないのに、行動が制限され、その心配が今の業界にいる限り続くかと考えると、もうどうしていいかわかりません。なにより、4年かけてやっと精神的ショックが薄れたところに、再びあのセクハラのことを考えるのが辛いです。 向こうが強気なのは物的証拠がないためと好き勝手言っているんだと思います(本人はハラスメントオフィスで拉致を認めてはいます)。拉致された時に警察に通報すればよかったと後悔しています。逃げるのに必死で気が回りませんでした。 長い文章読んでいただきありがとうございます。この被害を乗り越えるためのアドバイスをいただけたら嬉しいです。