強がるべきか、正直に言うべきか

40代半ば独身女性です。11年前に1年半付き合った大学のゼミの同期生と付き合いました。
相手は離婚から（子供はナシ）半年くらいで寂しくて付き合ったのかもしれませんが、当時は真剣に付き合ってくれていたと思います。
しかし遠距離だったことや、向こうが仕事などで一杯一杯になり「自信がない」とふられました。
しばらくはぽつぽつ連絡してくるわりに話をすると冷たい態度に振り回され、引きずってしまいましたが
連絡が途絶えた5年ほどは思い出しもしなくなり、立ち直ったつもりでした。

先日11年ぶりに同窓会で、異動で関西に戻ってきた相手も出席していましたが、
以前の冷たい態度が怖くて目を合わせることもできなかったのですが
しかし終わり間際に向こうが話しかけてきて思いのほか自然に話ができることにびっくりしました。

はっきりは言いませんでしたが、申し訳ないと思っていたようです。
そのときオープンに「（以前のように）家にご飯を食べに行っていいか」と聞かれたのですが
私はなんとなく「いいよ」と言ってしまいました。冗談だと思ったのと、他のメンバーは家族ぐるみで家に来ることが多かったので本当になんとなく、でした。
その後はさらりと別れ、10日たった今も連絡はありませんが、心がざわつきます。
立ち直ったつもりがやはりどこかで彼を好きで、また振り回されている自分が本当に情けない。
もう自分から連絡するようなことはありませんが、
もし向こうから連絡が来た場合、強がって「あんたなんか好きじゃないので迷惑」といったほうが引きずらなくて済むのでしょうか。
でもなんとなく真剣に付き合った相手に対して不誠実なようで（気持ちが残っているせいでしょうが）
正直に「まだ好きな気持ちが残っているから、忘れるまでそっとしておいてほしい」といったほうが立ち直れるのか悩んでいます。