彼の過去の言動を許せません。

同棲する彼氏がいます。
私は30代前半バツイチ、彼氏は30代後半バツナシです。

彼は以前同棲していた彼女が男を作って、浮気→結婚したので、
とてもそれに関して、傷を負ったらしいです。

私と付き合って1年半から2年くらいになります。
（はっきり付き合おうといわれて始まったわけではないので、曖昧です。）
最近同棲を始めたので、今でこそみんなに紹介してくれ、
彼女と言ってくれていますが、付き合ってから、同棲を始めるまで、
友達もだれも紹介してくれず、
ブログやツイッターで、「彼女はいない。」と言っていました。
一年半以上、その状況を我慢していました。

彼は、「ゼッタイこの人」と決めるまで、公にしたくないと言っていました。
そして、趣味がアウトドアなのですが、
チームの女の子と一緒に泊まりでレースに出たりするのを、私はいつも1人で待っていました。
レースや趣味が忙しく、私と旅行に行くことはありませんでした。

ブログやツイッターでファンの女の子からの書き込みも見るものとても辛く、なにより、彼女がいないと言われていることが辛く、
「私はどうしてこんなに存在を否定されなければいけないのか。」と
いつもいつも一年半悩んで落ち込んで、ストレスで自律神経を病んだりしました。

彼はとてもかっこよく、年収もある職業についているので、とてももてます。
今、彼は「もうみんなに公にして、みかんだけなんだから、もう問題ないじゃない。」と言いますが、私にとってはトラウマです。

やはり不安になったり、以前に受けたそういう扱いがよみがえってきて、
精神的に不安定になったりします。
でも彼は全くわかってくれません。
傷つけてるつもりもないのに、どうして落ち込んだりするのか、理解不能だと言いいます。

どう乗り越えればいいのでしょうか。