なんで心に踏ん切りがつかないのかわからない

数ヶ月前に別れた元彼のことです。お互い年齢は20後半でした。まだ昇華できてないためお話を聞いて欲しいです。

彼は幼い頃に父母からどうしようもないことでからかわれ、それがトラウマで人を心から信用できない人でした。
また父母が多忙で、長男である彼はかなり寂しい思いをした過去がありました。

そんな過去があるためナイーブで、私からしたら何でもない言い方（今日家事ぜんぜんやってないじゃん！やろうよ！等）にすごく落ち込み傷ついたと被害者スタンスが強い人でした。

そんな彼はおおらかな部分や優しいと思える部分があり同棲までしましたが、彼の基本的に被害者スタンスがしんどく感じ
彼にとっては私の我が強いところがしんどいと言われお別れとなりました。
我が強いというか頑固なのは私も自覚はしており、彼のナイーブさに配慮して言葉を選んだり色々行動していたので努力を否定されたような気持ちでした。でも同棲解消はお互いのすり合わせができなかった結果なので彼を責める気持ちはほとんどありません。（少しはありますが）

同棲解消から完全に住居を別にするまで1ヶ月ほど時間がありました。
その期間に彼から「SNSで知り合った遠方の鬱の年下女性に会ってみようかな」と言われなんだかわからないのですがかなりショックを受けました。
私の理性では、別れたんだからあなたがどんな女性と関係を持とうと関係ないし、そんなこといちいち言うなよと思っています。
しかし心では、あなたを愛していた私と別れてSNSで知り合った程度の女に遠方まで会いに行くんだ…と悲しい気持ちがあります。今でもその気持ちが残っており、私は人からは愛されない人格の人間なのだと謎に深く落ち込んでしまいます。
いつもならすんなり前を向けるのですが心に引っ掛かりがあります。なんでも良いので経験談やご感想をお聞きして踏ん切りつけたいです。
よろしくお願いします。