友達の彼氏が元カレでした

表題の通りですが、高校時代の友人に紹介された彼氏が、大学時代に付き合っていた彼氏でした。
紹介された時はあまりにびっくりして、知らないふりをしてしまったため、今更知っていた、ましてや付き合っていたなんて言えません。

現在私には彼氏がいますが、友人はひんぱんに私たちカップルとWデートをしたがり困っています。
もっと困るのが元カレがすごく、格好良く見えてしまうことです。
現彼氏は元カレに比べれば背も低いし、太っているし、メガネもかけているけど本当に良い人で、私は大好きなのにです。
そんな現彼氏も、元カレのことを「すごく格好いいよね～」と大好きなのでこれも困りものです。
Wデートをとても楽しんでしまっているのです。

自分の時には気づかなかった、元カレのつっけんどんな中にある優しさを、友人とのやり取りの中で、うらやましく見ている自分がいます。
この前はつい、テーマパークで腕を組んでしまいました。私を含め4人ともびっくりしてしまいました。
4人でいても振り返られるほど格好良い元カレに、現彼氏が卑屈になっているのではないかと勝手に思っていたら「あなたはそのままでいいの！」なんて口にしてしまいました。
元カレがすてき、と思う自分が暴走し始めています。

友人はとても良い子で、彼女から奪い返したいとは思いませんし、元カレとよりが戻るとも思っていません。元カレが友人を裏切るとは思えません。
第一、私は現彼氏が大好きなのです。

元カレの格好良さを目の当たりにするWデートがつらいのですが、私以外は楽しんでいるようで断るのが悪のように感じています。
できるなら、このままフィールドアウトしたい気持ちです。
どうすれば私の気持ちを悟られず、誰も傷つけず、疎遠になれるでしょうか？
良い知恵をお授けください。