食事代の割り勘分を返すのは失礼でしょうか？

30代既婚男性です。 先日、中学時代の旧友と出会いました。（既婚女性） たまたま、身内の出産祝いに帰っていたようでした。 20年ぶりということ・遠方に居住ということもあり、 次いつ会えるか分からないので、と食事に誘われました。 中学時代話で盛り上がり、大変楽しい時間を過ごしました。 急な食事ということもあり、22時には店を出ました。（約3時間） 食事代は私がトイレに立った時に済ませておきました。 帰り際、彼女から全額は悪いので少しでもと5000円を半ば強引に 渡されました。（店外で）食事代は12000円ちょっとでした。 少し気の強いところがあるのを知っていたので、あまりここで 突き返すのも悪いと思いその場では受け取りました。 お店をでてからタクシーで彼女の自宅前まで送り、 降り際に、ご主人にお土産でも買ってあげてと 手持ちの封筒に先ほどの5000円を入れて渡しました。 そのあと、メールで「ありがとう、ごちそう様でした」と お礼の連絡があったのですが、そのすぐ後に「せっかく 思い出に浸っていたのに」とメールが入りました。 ご主人にお土産でもの一言がまずかったようです。 気の利いた言葉はなんだったのでしょうか？