仕事上のトラブルで交友関係が悪化

初めまして、
実は、この度職種を変えようとしてます。
ただ、変えるにあたりこの仕事を紹介してくれた友達と交友関係の悪化に至ってしまって、今困惑してます。

その友達というのが、大学の頃仲良かった友達で大学時代ずっと一緒に講義を受け、遊びまくっためっちゃいい奴なんです。
前職営業をやっていた俺は、その当時上司のパワハラ、モラハラに2年耐えに耐え抜いたんですが、心折れてその友達に紹介を頂いて、今は同じ職場で働いてます。

ただ、転職した職場も実際はパワハラ、陰口などが横行する職場で、唯一許せない嫌な事があったので、前職の上司に相談をしました。
上司は、別の仕事を始めるとの事で俺を誘ってくれました。とても尊敬できる上司なので、話を聞き、会社の社長とも面談をし、合格したので、この友達に誘ってもらった会社を辞める事を決意しました。
そして、会社と友達に辞める事を本日伝え、後は、辞めるだけだと思ってたんですが、友達が俺の事を失望してしまいどう関係性を修復していいのか分かりません。
謝って許してくれないようであれば、やはり時間と距離を置いた方が良いでしょうか？