対応に悩んでいます

前職を体調不良で辞めました。

元同僚から、たまに連絡が来ます。内容は、体調どう？少しは良くなった？などです。

今の病状を知られたくないと思う私は、おかしいでしょうか？

今も体調は良くないのですが入院するほどではなく、通院しています。

ランチ行かない？と誘われたのですが、気乗りしなくて…。

寝込んで動けない訳ではないので、体調不良を理由に断るのも難しいです（それは知られています）。
同僚とは長い付き合いで、在職時は一緒に働いていて、関係は良好でした。ですが、退職したら、付き合いも終わる物と思っていたので、戸惑っています。とはいえ、着信拒否はしたくないんです。何か上手い対応ありませんか？

とりあえず、ランチは避けたいです。

ご助言お願い致します。