前職の同僚のメールが怖い

半年ほど前に退職し、現在求職活動中の独身、母と二人暮らしの
女です。
前の職場は、恥ずかしながら人間関係に耐えきれず退職しました。

今日、退職原因のひとつであった、元同僚（既婚、男）から、
アドレスを教えてないのにメールが来ました。

退職後すぐ、pcに「飲みに行こう」というメールが来たので、
返信せず、すぐにアドレスを変えました。
そうしたら、今日は、携帯電話のアドレス宛に来ました。
多分、以前のpcアドレスから類推して、駄目元で
送ってきたものと思われます。

また、今日の内容は、ある職場（彼の家の近所＆顧客）の
求職情報を知らせるもので、私がまだ再就職していないことを
知っているようでした。

彼は、すべてにおいて非常に粘着質な人です。
例えば、2人で同行した車内でセクハラ発言がひどく
（何故早く仕事をやめて結婚しないのか、とか
出身校や専攻をからかい、やめてと言っても
狂ったように発言を続けたり、むかつくんだよ！と大声を出す等）
思い切って上司に相談したところ、その上司が皆の前で、
酷い怒り方をしたらしいのです。（本人が恥をかかされたと
私に言ってきました）
勿論その事自体は気の毒でしたが、
それ以来、自分にまったく非がないかのように、
社内で私の悪口を言いふらしたり、狡猾な言葉の攻撃が
酷くなりました。

今日のメールはすぐ削除しアドレスも変えましたが、
住所を知られています。
前の職場の総務に、手紙で事情を説明し、私に関わらないよう
注意してもらいたい気がしますが、さらなる逆恨みと仕返しが怖いです。

もし、ご経験者がいらっしゃいましたら、対応についてアドバイスを頂けませんでしょうか。
また、前の職場は、思い出すのも嫌なので、一切誰ともコンタクトをとっていませんが、
そういう状況で、私の就職活動状態を、どうして分かるのでしょうか。