社内恋愛中の彼氏と元彼女さんについて

今お付き合いしている彼は部署は違いますが同じ社内の方なので社内恋愛中です。ですが私の意見で社内の中では知られていません。
その彼が元々お付き合いをされていた女性は付き合っていた頃も別れてからも同じ会社の彼と同じ部署にいます。2人がお付き合いをしている頃はお互い付き合いをオープンにしていて会社中の公認の仲でした。もちろん私も知っていますし、当時友人だった彼からも交際前後からよく話を聞いたりしていました。

その時は彼に対して恋愛感情がなく、何も気にしていなかったのですが付き合い始めてから過去の事が気になってしまっています。
私と元彼女は同期ですが彼女の方が彼より年下で、私は年上です。そして入社後すぐに彼のアプローチからお付き合いを始めて1年経たずに彼女の方から別れを告げて彼は結婚も意識していた彼女に未練を持ちながら別れています。
そこから3ヶ月後に私との付き合いを始めたのですが恋愛関係になる前には私も元彼女も彼とはそこそこの仲でしたのに、彼は彼女を選んでいた事実に私は自分が妥協で付き合った彼女としか思えず元彼女よりも愛されている自信がありませんし、そう思ってしまう自分に自己嫌悪の毎日です。

今は彼の1番は私と言ってくれていますが、どうしても自分中では「あの子に振られたから手近な私にアプローチしてきた癖に」「私はあの子の代わりなんじゃないか」と悲観的になっています。
こんなことでは彼の気持ちを否定してしまうし悲しませてしまうのでやめたいと考えているのにずっと悩んでしまっていて…。
その他も私に髪を伸ばしたら可愛いんじゃない？(私はショートで元彼女はロング)などの発言や、元彼女さんに宛てたメッセージを携帯に残している事が判明してしまい心が折れてしまいそうです。
みなさんは彼と別の方の恋愛の始まりから終わりまでを知っている経験がありますか？またどのように乗り換えましたか？