社内恋愛の彼氏

私：25歳
彼：30歳

社内恋愛で、交際して半年たちます。

彼には、過去に好きだった女性がいて
その女性は会社の上司です。

二人は付き合っていたわけではなく、
彼はその女性にはフラれています。

付き合ってから知ったのですが、
4,5年前、上司の女性が酔っ払った勢いで彼に手をだした事があるそうです。
（イチャイチャにはじまり、下半身を触られたそうです）

彼と上司は、社内でも噂になっており
長期間遊び相手の関係にあると社内の人は思っています。
（普段からとても仲が良く、ずっと二人で話し込んだりしていました）
女性上司は、過去4人の社内男性に手を出していますが、
彼とのイメージがとても強いです。

私と交際をはじめて、数か月たった時に
私がとうとう耐えられなくなり
女性上司と必要以上に接することを辞めてくれとお願いしました。
それから彼は、女性上司と口をきく事もなく一切会話もしませんし、
私のこともとても大切にしてくれています。
近頃は結婚の話も出ています。

ですが、毎日毎日、内心は穏やかではありません。

その女性上司の姿を見ると、二人がそういった行為をしているところを
想像してしまいますし、気持ち悪い、という感情がわいてきます。
毎日毎日、彼にチクチクと過去のことを責めてしまいます。
本当はあの人が好きなんでしょ？等。。。
付き合う前に、一度その女性上司を好きだという理由で
私がフラれている事も原因の1つとしてありますが。

とても辛くてたまりません。
私が転職したり、彼が転職したりすることで
忘れられるのでしょうか。
彼は、私が辛くなくなるのであれば転職すると言ってくれています。

でも、忘れられる自信がありません。
どうすれば楽になるんでしょうか。
助けて下さい。