無神経人間と仲良くなってしまった後悔を消すために

35歳男性です。
今5年前にどうしても忘れられない無神経なグループとのことを引きずって困っています。

同じ趣味を通じて知り合ったのですが、やはり少しずつ深くなったり、関係が広くなって、数年くらいの友人付き合いがありました。
でもそれが災いしたのかSNSで悪ふざけをするようになりました。

そいつらとは何度か話し合いを設けたこともありましたが、その悪ふざけに話たところ、「そう感じるのは損してる」、「日本語使うなというのか？」となり、こいつらは「人を傷つけることはしてはいけない」というよりも「心の器の大きさ」なのかと思い縁を切りました。
さらに、それを関係ない自分とも奴らとも仲がいい人間を巻き込んで、
「無視しろ」、「奴とは付き合うな」と仕掛けたのか、仮に会っても無視。となり、自分はその趣味の場にはいけなくなりました。
でも好きなものはあきらめるのも違う、絶対にこの無神経の邪魔のいないところで楽しむようにしています。

無神経と仲良くなってしまったのが間違いなのでしょうが、そういった楽しい思いもあったからか、今でもその趣味が好きなので、奴らは生涯許せません。ブロックしたりして割り切っているつもりです。
ただ、今の趣味を捨てるのも違うし、一番困るのはその楽しかった思い出も邪魔をして、時々思い出してしまって、急に気分の落ち込みがあったりして、日常にも影響することです。

何故「人を傷つけるほどの悪ふざけ」が好かれたりして、
こっちは「すべて悪者にならなければならない」のかとても理解できません。

この先こんな邪魔に振り回されずに、残りの人生を幸せに生きるためにも、
出会った人間が人として最低最悪の外れ人間、出会って仲良くしてしまったのがあまりにも悪すぎた人間だった、思い出さないようにするとかそういった心がけていることを聞かせていただきたいです。