ヨリを戻すのを断った罪悪感

大学生です。 春に、２年間付き合った彼に振られました。 原因は最近うまくいってなかったこと、彼がサークルや就職活動に専念したい、という感じだったと思います。当時精神的にやられてしまったためあまり記憶がありません。 当時私は日々の生活もままならなくなってしまいましたが、彼や周りに迷惑をかけないためにも早く立ち直ろうとしました。 そして夏には新しく好きな人もでき、元彼とも友達として接することができるようになりました。 ところが先日、元彼から「ヨリを戻したい」と言われました。 彼いわく、別れてからも嫌いになったわけではなく実は寂しかった、けどサークルや就活が一段落するまでは自分一人で頑張ろうと思い頑張ってきた、そして一段落したから自分の気持ちを言うことにした、とのこと。 私自身、ヨリを戻すことは全く考えていません。 しかしそれを正直に伝えた時の彼の辛そうな姿が、最初に振られた時の自分と重なり、当時の気持ちがフラッシュバックして罪悪感でいっぱいになってしまいました・・ 彼は今本当に辛そうです。私も気持ちがわかるだけに辛いです。 私は彼にどう接すれば良いのでしょうか。