上司との昼ご飯

初めまして、20代後半・OLのももこです。相談させてください。 職場のお昼はいつも、女性社員が節約のためお弁当を持ち寄り、一緒に食べています。 先輩1名、後輩2名、私の4人です。みなさん私より年上です。 また、月1回ほどのペースで上司がお昼に誘ってくれます。 私たち4人を上司行きつけの定食屋へ連れて行き、ごちそうしてくれます。 ごちそうになる日は前日までに上司が声をかけてくれるため、 お弁当は持ってきません。 ここまでが前提です。 定食屋へ行く約束があった日、上司に急な仕事が入り、延期になりました。 上司はお弁当を持たない私たちを心配し、 「僕はいないけど食べに行っておいで」とお金を預けてくれました。 先輩・後輩は「いつも定食だから、今日は洋食にしよう！」と盛り上がっていましたが 私が「上司本人がいないのに、お金だけもらって食べに行くのは申し訳ない。 今回は自腹でお昼を買って、お金は上司に返そう。」と提案したところ しぶしぶといった感じでそのようにしてくれました。 こんなことが2回ほど続いたあと、後輩二人が 「お金は素直にもらっておけばいいのに。」「ももこは頭が固いね。」と 話しているのを偶然聞いてしまいました。 相談です。 自腹で出したお昼代は500円弱。 お弁当を作るほうがもちろん安あがりなので、もったいないなぁと感じます。 しかし、上司との食事は、タダでお昼を食べられることよりも、会食の意味が大きいです。 話し好きな上司で、お昼を一緒に食べているときはとても楽しそうにしてくれます。 上司の気遣いとはいえ、自分たちだけで食事に行くことはできませんでした。 ただ、みなさん年上。年下の私が生意気を言ってしまったという気持ちもあります。 また、上司の気遣いも無碍にしてしまいました。 私はどうするべきだったのでしょうか。ご意見をお願いします。