嫌な同僚が参加するかもしれないお茶への対応について

職場の信頼する一期上の先輩に、最近の仕事の悩みを相談したいと言うことをLINEしてました。
その先輩とは、定期的にお互い仕事の悩みを相談しあったりしており。
一期上ですが、仕事の立場(中堅管理職でチームリーダー的な立場)が同じと言うこともあり、お互い相談しやすい感じです。
今度職場の研修があるので、その後でお茶でもしながら悩み相談しようかと言うことになり。
その中で、私が苦手な同僚も誘っていいかと言う連絡が来ました。
その同僚と先輩は、今年度から同じ職場になったこともあると思います。
私がその同僚が苦手な事は、職場の人はもちろんその同僚本人もしりません。
過去にその同僚とは、本当にいろいろトラブルがあり、勝手に根も歯もない噂を流されたりとか陥れられたりしたことがありました。
だけど、周りを味方につけるのがうまいので、私が敵とみなされると、すごく私が周りから攻撃されることになり、といった過去があり。
なので表面上は仲良くしています。
なのでその同僚も、私とは仲が良いと相手方は思っています。
なので、その先輩のお茶のお誘いは、ありがたいお話で、同じ立場の方と話すこともなかなかないので、お話ししたい気持ちはあるんですが。
その同僚が参加することが、その先輩から提案を受けてすごく戸惑っており。
ただ、同僚のことが嫌いと言う事は誰にも知られてはいけないので
どう断っていいものか。
あとは、仕事のスタンスが全く違うのです。仕事を軽く考えてると言うか。
なので、私の悩みも話したくないのです。
何か良い方法は無いでしょうか。

同僚も誘っていいですかと言うお誘いは、お茶が決まってから先輩から提案があったことです。
なので、お茶自体は、一度快諾してます。