彼氏に優しくできない

20代後半女性です。今お付き合いしている年上の彼とはもう
５年～６年の付き合いになります。

この彼とは最初はっきり「付き合おう」と言って付き合った
わけではなく、なんとなく付き合いが始まったのですが、
最初は本当にうまくいかず、最初の丸２年くらい本当につらい付き合いでした。

その２年彼にとって私の行動すべてが快く映らなかったようで、
しょっちゅう「人としておかしい」「お前は恐ろしい人間だ」
と言われ、いつも私はビクビクしていたように思います。

一方で彼は前の彼女が忘れられず、しょっちゅう前の彼女
の話題を出したり、他に気になる（というか心配でほっておけない？）
女の子がいて、何かにつけその子を優先したり。私は電話ですら
無視されていたのに、その子の悩みは夜中まで聞いてあげていたり
していました。

また仕事で彼と私と他の数人とでチームを組むことがあったのですが、
一番私が関わっていたことでも取りまとめ役にさせてもらえなかったり。

悔しいことばかりでしたが結局好きだったし、その時別れるという決断はしませんでした。
また、彼も私と付き合う前の数年、つらい時期があったので、
私にあたっているのかなと言う感じも多分にありました。
もちろんその2年いつでもどこでも虐げられていたというわけではなく
基本的に面倒見のいい人なのでお世話になったこともたくさんあります。

その後関係がとてもとてもうまくいくようになって今に至るのですが、
この半年、彼に優しくできません。相変わらず厳しいところもあるので
否定的なことを言われると私が激高してしまったり、昔のことを持ち出して
責め立ててしまったりします。どのようにしたらまた彼に優しくできるか
アドバイスいただければうれしいです。