ずっとまっている女性。勝てるのか・・・？

26歳OLです。22歳から交際し、昨年一度別れ、またよりを戻した5歳上の彼氏がいます。 お互い納得しての別れでしたが、別れた後もお互いが気になって仕方なくて、復縁しました。 最近、彼に、1週間だけ交際（？）していた女性がいたことが分かりました。 別れた後のことですし、実際その女性に対しては「カドヤが気になって仕方ないいから、申し訳ないけど、やっぱり付き合えない。」といって別れたそうです。 これだけの話であれば、一旦別れた自分の自業自得と思えるのですが、実はその女性は、私と彼が4年前に交際を始めた当初にも、彼に告白してきた女性なのです。 その時も彼は私を選んでくれましたが、4年も待ち続けたその女性の気持ちの強さに、私は勝てるのかと不安で仕方がありません。 彼女は、自分の告白の後、彼が私と交際していたことは知っていて、昨年の私と彼の破局を聞いて、再度告白してきたようです。 1度目はまだしも、2度目に振られたときの彼女の気持ちの辛さは、同じ女性として想像するのも辛いです。 それなのに、その女性は2度目に振られたときも「好きだから、待っている」と彼に伝えたと聞きました。 彼のことは大好きですし、彼も将来のことを考える覚悟で復縁したと言ってくれています。 その女性は彼の年上ですが、すごーく美人です。私は残念な外見です。 彼のことは好きで、信じています。関係も良好です。彼女との交際にとてもショックを受けた私の気持ちを理解してくれています。 それでも、たくさん辛い思いを彼に（間接的に私にも）させられ、それでも、待っているという女性の存在に怯えてしまっています。 共通の知人に愚痴ることもなく、私に対して何を言うことも無く、ただ「待っている」という強さをもった美しいその女性に、いつか負けてしまうんじゃなかと、ふとした瞬間に不安で泣けてきます。 この先の気の持ちようを、どうかご教示ください。