「お礼にご馳走させてください」が苦手です

30代派遣社員です。 職場の社員さんから、 「いつもお世話になっているお礼に今度ご馳走させてください」 といったことを時々言われます。（夕食を） そう言っていただけるのはありがたいのですが、 お気持ちだけで十分、というのが本音です。 職場の人とは業務時間外でそれほど親しくしたいと思いませんし、 普段は世間話程度の相手と向かい合って食事をするのは、正直、気詰まりです。 「奢りなら良いじゃない」と言う友達もいますが、 元来、奢ってもらうのが得意ではなく、むしろ心苦しいです。 「特別なお気遣いは遠慮させていただいております」 という感じで、謝意だけは伝えてお断りしているのですが、 その後、なんとなく気まずい思いをすることもあります。 ただ、ものすごく勝手なのですが、 もし個人的に仲良くなりたい方であれば、ご一緒すると思うのです。 （過去にそれがきっかけで恋が始まったこともありました） 選り好みですよね・・・。 皆さんなら、こういった誘いにはどう対応しますか？ 受けるべきだ、こういう断りかたをするべきだ、など、ご意見いただけると幸いです。