前職から送別会の誘い

2年ほど前から同じ職場の彼とお付き合いをしています。 私が辞める時上司(O)が周りの部署に頭を下げて退職以外に長期休職にできないかと掛け合ってくれました。残念ながら家の事情により継続が出来ず退職することになりました。 その後返却物等の為一度前職に足を運ぶことがありました。その時(O)とは顔を合わせていません。 しばらくして彼から(O)が激怒していると聞きました。(O)は私に裏切られたと怒り泣いていたそうです。その時は私に非があったのだと思い何度も連絡しました。(結局辞めた後に辞めなくても大丈夫そうと言った発言をしてしまった事が原因だと思います。それが(O)の耳にも入ったのだと思います。) 連絡がつくまでの間夜も眠れない、食事も喉を通らない、常にマイナス思考になってしまう、その上彼は(O)の味方のような発言をする、といったことからその時は本当に鬱状態でした。そういった発言をした私に非がある事は確かです。 連絡がついて(O)に何度も謝罪し、会ってちゃんと謝りたいと言っても会ってはくれませんでした。「もう忘れて前に進もう」と言っていました。そんな事があってから半年以上たちました。2日前に彼から連絡があり、(O)と他3名？が退職するそうで、その送別会に彼と私も来ないか？というお誘いを彼から聞きました。 そういった事は又聞きではなく直接連絡が来るものだと思っています。今でも(O)の事を思い出すと以前のように2～3日眠れません。正直顔も見たくありません。参加するつもりがないのでどう断ったら良いのかが分かりません。 彼は今後も退職する人たちと近しい関係のまま仕事を続けることになります。彼と退職する人たちとの溝を作らないようにする為にはどんな風に断るのがベストですか？私が悪いのは分かっています。