これから元カレとどうするか

私には3年付き合って別れた元カレがいます。元カレとは別れて2年近く経ちます。別れた原因は元カレの浮気ですが、私にも原因はあると思います(嫉妬とか、束縛とかしてしまいました…)。
別れてからすぐは気まずかったのですが、職場が同じだったことなどもあって、だんだん気まずさはなくなり、暇が合えば遊びに行ったり、なんでも話せる親友のような関係になりました(肉体関係はなし)。
しかし、最近になり、肉体関係を結んでしまい、休日は一緒に出掛け、夜はどちらかの家に泊まるといった感じの付き合いになっています。傍から見れば「付き合っている」ように見えると思います。
ただ、元カレも私もお互い「付き合おう」などという言葉は口にせずいます。
私は未練があるので、もう一度付き合いたいと思ってしまいますが、付き合っている時に浮気をされているので信用するのは難しいし、元カレが私とよりを戻したいようには見えないので、「付き合おう」とは口にしていません。「付き合おう」と言って元カレに断られるのが恐いというのもあると思います。そのため、今の煮え切らない関係を続けてしまっています。
友人に相談すると「そんな人やめたほうがいい」「もしまた付き合うにしても、ちゃんと言葉で言わないとダメだよ。都合のいい女になってるよ」と言われ、私もその都度「その通りだな」と思うのですが、本当にこの人(元カレ)を失ってもいいのかと考えるとなかなか関係を切れません。また、元カレと言えども今の私にはとても大きな存在なので、元カレを失った時、私は崩れてしまいそうで怖いです(実際に別れた直後も身体を壊してしましました)。頭では、「もうやめたほうがいい」と思っているのですが、どうしても関係を断つことができません。
同じような経験をされた方いますでしょうか？また、何かアドバイスをくださる方ご意見お願いいたします。　　　　　　　　　(長文失礼しました)