上司との不倫後の関係について

初めてトピを立てるので非常識な言動があったらすみません。

24歳会社員です。

直属の上司と身体の関係を持ってしまい、つい最近までずるずると続いていました。
上司は30歳でバツイチで再婚しており、前嫁にも今嫁にも子供がいると聞いています。
また、事務員の方2人(1人は最近退職されました)とも不倫をしていたらしく、それが会社にばれて降格していたことも最近になって知りました。

遊ばれているだけだとわかっていたし、精神的に限界でしたので私から別れを切り出しました。
それからは上司と一度も関係を持っていませんが、会社内でも親密な態度をとってくるし、いまだに誘われもします。

私としてはまだ引きずっている状態ですので、そのような態度をとられるととてもつらく、心が苦しいです。
また、直属の上司なので嫌でも毎日顔を合わせなければならないし、ないがしろにもできません。

これまでのことを人事部に正直に話して部署を変えてもらうべきでしょうか？
そうすると私は上司をそそのかしたとして何らかの処分を受けたりするでしょうか？

ちなみに事務員の方2人は特に処分は受けてないようですが、やはり噂にはなっています。。。
ばれた理由は上司が得意先との会合があるので直帰すると会社に行っていたのに事務員の方と一緒にいるところを取引先の方に見られ、会社に連絡が来たからだそうです。

私としては仕事自体は好きで、やりがいもあるので、できる限り続けたいと思っているのですが、このままだと頭がどうにかなりそうです。

どうするのが一番良いのかみなさんのご意見をお聞かせください。