取引先からタクシー代を頂いたとき

同僚と食事に行ったレストランで、たまたま取引先の方々も
居あわせて、一緒に食事することになりました。
盛り上がって2次会、3次会といくうちに終電が無くなり、
取引先会社の一人と私はタクシーで帰宅。その方は初乗りの
距離で降りましたが、1万円を置いてすぐに去ってしまいました。
タクシー代はいいから、お釣りだけ貰っておいて下さいね～と言い残して。
自分の家までは6000円位だったので、お釣りは4000円あります。

こういった場合、御礼を言ってお釣りの4000円のみ返して
よいものでしょうか。それとも相手の方と自分の家までの
差額もお返しすると申し出るべきでしょうか？
それともお釣りの4000円とお菓子か何か渡すのがいいのか？
同僚はその方と仲がよく、飲み友達でもあるので
「相手は部長さん、お金持ってるしお釣りだけ返せばいいよー」
と言っているのですが、私はその方と初対面で、仕事上のやりとりも
無いに等しいので、何だか申し訳ない気がしています。