ご年配の女性からのお詫びとして、食事のお誘いを受けた

今現在フリーターとして、とある企業ビルの清掃員として働いていますが、今月からこちらの事情もあり今まで働いてきた、清掃アルバイトを辞めさせてもらおうと前々から会社にお伝えしていました。 　ここで皆様にご相談なのですが…その清掃作業は基本的に二人で取り掛かる様に義務づけられています。（ペアとなる人の急な欠勤の場合は、やむを得ず1人で作業することもあるのですが） 私は丁度20歳の男になるのですが、ペアとなっていつも一緒に働いていた方は、女性で私よりも齢が40以上も離れている、恐らく60を越える位の年配の方なのです。 　その方は私に対して優しく、休憩時間などでは雑談もする位の仲なのですが、先日に私がアルバイトを辞めるという旨を伝えた所、最後の勤務日となる日に、作業終了後に何処か近くの飲食店でランチでもしようと、お誘いを受けたのです。（アルバイトは昼頃までに終了の予定です） 　私はまさか食事のお誘いを受けるなどと考えてもみなかったので困惑してしました。 　心当りとして、ペアの方は先月辺りからご自身の体調の具合や家庭での用事も含めて、かなりの頻度でよく欠勤されてました。私としては体力的にも時間的にも余裕があったので、欠勤されたペアの方の分まで働くという事に対して何も思わなかったのですが、恐らく相手は迷惑をかけたと、そういう意味でのお詫びやお礼の形として私に食事をお誘いして下さったんだと思います。 　私の勝手な推察ですが、もし仮にそれが本当だとしても私は、このお誘いに余り気が乗らないのです。 　なので丁重にお断りしたいと考えているのですが、皆様はどのようなご返答をなさるでしょうか？（相手とのやり取りはメールなどではなく、直接の会話を想定しています）