いじめられたけど付き合っています

3年前、職場で同い年の男性に私にだけ強い言い方で注意されたり、人格否定や大勢のスタッフの前で見せしめのように罵倒されたり、後輩の前で大声で怒られ、周りも私には言っていいんだと言う雰囲気ができていて、その人も一度気になって怒るとエスカレートして止められず、そこに後輩たちが入ってきてまた後輩から怒られるということもありました。

仕事ができる人なので、その人に嫌われたらまずいという周囲の気持ちもあったと思います。私のツイートをいちいち社内で言いふらしたり、理不尽なことで私だけに怒りをぶつけてきたり、スタッフみんなで食べたお菓子に対して「なんで俺の分が残ってないんだ」と私だけを責めてきたりしました。
私はその男性が苦手で意図的に距離を置いていました。

しかし、時間が経つと2人きりで食事に誘われるようになり、2人の時だと「最近話してくれるようになって嬉しい」「俺のことはどう思ってるのか？」と聞いてきたり好意的な態度でしたが、会社で他のスタッフがいると大声で罵倒してきたり、椅子を蹴ったり、後輩の前で私のミスを披露したり相変わらずでした。
2人きりで話していると真面目で優しい印象を受けたのでお付き合いしたのですが、付き合ってから会社ではもっとその扱いはひどくなり、家ではデレデレという奇妙な状態が続きました。

彼が異動した後も私はその部署で働いていたのですが、心身に不調をきたしてしまい退職しました。
そこで冷静になって考えてみたら、ひどい扱いを受けていたと気づきました。付き合って2年になりますが、今の彼は優しくて面白くて、一緒に過ごす時間は楽しいのですが、彼と関係を続けるべきでしょうか？

今でも思い出して辛くなるので、辛かった自分を大事にしたい気持ちと彼と一緒にいたい気持ちが拮抗していて悩んでいます。
ちなみに、彼にその時のことを話すと、「そんなことしたっけ？」という感じです。