告白を断ったら逆ギレされました。

はじめまして、１０代・女です。
実は夏休み前、同じ学校の人からメールで告白されました。（彼の事は好きではありませんでした）
※私はアメリカ在住で、アメリカでは日本より、告白と「付き合ってと言う事」がハッキリ区別されています。
しかし彼は「付き合って」とは言わないまま、ずっと「どうせ無理だから」「そこまで望んでないから」みたいな態度を取ってきました。
面と向かっているときは何も言いだしたりしないのですが、メールとなると一気に私のどこを好きなのか、どの髪型が好きなのか、などなどと話してきます。
そしてその反面、「もうすぐ付き合ってと言う」とまで言っていました。（予言？！かなり変な話です）
そして断りたい私には、「それまでＯＫもＮＯも言うタイミングじゃないから」といった感じでした。
でもそれから数カ月がたち、ずっと同じことを続けている彼に「付き合って、って言わないの？」と聞くとまたいつものように、「来月に言うかもね」といわれました。
呆れてしまった私は、もうこのやり取りが面倒になってしまい「ごめんなさい。あなたとは付き合えません」と断りました。
スッキリした～～～！
のはずが。。。
彼は「別に自分もどうでもよかった。もう他に好きな人がいる。」という内容を返してきました。
最初はあまり気にならなかったのですが、考えてみたらちょっとそれは失礼じゃないかな？と思いました。
こういう時、なんて言い返せばいいのでしょうか？やはりそっとしておいたほうがいいですか？

私はこれまで、このような事が約４回ありました。
ある時は、断った後に「今のメール、俺じゃないから」と言われました。
（ちなみに告白された時は全てメールでした）
友達は「恥ずかしくなっただけだ」と言いますが、なんとも後味が悪いです。
ご意見をお願いします。