彼氏に浮気？と乗り換えされました。

私の元彼は精神病でした。鬱とまでは言われなかったものの、抗鬱剤を飲んでいました。
交際期間は約２年、その間彼の病気のことで散々悩み、でも彼はそのことを誰にも言ってなかったから
私はずっと彼とうまく付き合っていく方法を一人で悩み抱え続けました。
交際中の彼の束縛も、非常職な行動も、私が何か言おうものなら彼は全て病気のせいにし、私はその度に
病気の彼を責めるなんてひど女だと自分を責めてきました。
（ちなみに束縛は、私が友達、家族と出かけると文句を言ってせめる、また出かけると必ず一回電話が来る、
自分の予定だけで行動しようとし私の予定が会わないと怒る、男性と話す、挨拶することを禁止するなど）
しかし別れる二ヶ月ほど前から、彼は他の女性と連絡を取り合っていたらしいです。
私もその時期すごく忙しく、彼にあまり目を向けられずにました。
その頃から病気のことも全部彼女に相談していたようです。私は彼を信じていたので、
すごくショックでしたが、私が彼を忙しいを理由にほうっておいたのが悪いんだ、と自分を責めてしまいます。
そして二ヶ月後、彼は私に電話で話をつげ、お別れしました。
わたしは浮気や乗換えをしていたことは、別れて一週間後に知りました。かれは別れるときなにも話してくれませんでした。
彼は別れて一週間後も引きずっている私を見かねて、ひどい言葉と共に今彼女がいることを私に告げました。
今の彼女を大事にしたいから、もう関わらないで欲しい、といわれました。
でもやっぱり、浮気や乗換えされたのは私が悪いのでしょうか。
病気の彼を忙しいからといってかまってあげられなかった私はそんなこと言われて当然なのでしょうか。
どうしても気持ちの整理がつかなくて困っています。