元カレとの関係で悩んでいます。

乱雑な長文で申し訳ございません。

元彼には、プロのスポーツ選手になりたいから別れたいと言われて別れました。元彼は、私の事を嫌いになった訳ではなく、年齢や身体的な問題で最後のチャンスだから、集中したいと言われました。
別れた後は、友達みたいな感じでいようと言われていたのに、職場で何となく避けられていたため、もう忘れなきゃいけないのだと思い始めていた時(別れて約1ヶ月程度)に、急に会いたいと連絡が来て、夜中公園で会って話をしました。その時私は色々な事で悩んでいたのですが、それを見透かすように、自分(彼)がいないのによく耐えて頑張ったなって私を慰めてくれました。その事で彼はまだ私の事を好きでいてくれてるんじゃないかと思いました。その夜は彼が泊まっていきたいと言うので、私の家に泊めました。その後も、彼が遠く(高速バスや新幹線を使う距離)に引っ越すまでの約2、3週間のうちに、彼から電話が来て2、3回程会いたいと言われ会いました。
現在、彼が引っ越してから1ヶ月ちょっとが経ちましたが、約2週間に1回のペースで、彼から電話で会いに来なよと言われ、素直に会いに行ってしまいます。
別れてからも、毎回求められるので、彼はなかよしする目的で私を呼び出しているのだと薄々感じてはいるのですが、付き合っていた頃に、彼は好きな人としかなかよししないと宣言しており、嘘をつくような人では無いと信じているし、その信用も彼の行動に基づく根拠があるので、体だけが目的で会っているとは思いたくないです。
でも、できるなら彼と復縁したいと思っているので、やっぱりこのままでは良くないとも感じています。
彼に、こういう行為をやめようと言えば済む話なのですが、それで会おうと言ってくれなくなるかもしれないと思うとすごくこわいです。
私はどうしたら良いでしょうか…