自分だけにお土産を買ってくる職場の人

当方既婚の20代女です。 1年ほど前に同じ事務所に部署移動してきた(部署は別です)10歳年上の男性(既婚・子持ち)から1〜2ヶ月に1回ほど自分だけに出張のお土産をくれます。 事務所に２人だけになったタイミングでこそっと渡されます。 最初のうちはお断りしていたのが毎度押し切られるためもらうしかなく…最近は断るのも億劫になってしまいました。 その人が直属の上司だったり、仕事上私が何かすごく手助けをしているならまだわかるのですが、仕事上の関わりはあまりなく、世間話をほんのたまにする程度なのでどういうつもりで渡してくるのかがわかりません。 親ぐらいの年齢なら娘を可愛がる感覚なのかと思いますが、10歳程度ですのでそこまでもないはずです。 事務所には10人もいないので、お土産を誰かに渡したいだけなら私に買ってくるお土産を事務所の皆さんにと買って来ればいいのに、と思ってしまいます。 真面目な方で、連絡先も緊急の時のために交換した電話番号だけで下心があるように感じたことはありません。 でもこれを奥さんが知った時、トラブルの原因になりそうだなと考えています。 仮に私の夫が年下の特定の女の子に毎度お土産を渡していたら下心があるのではないかと考えてしまいますし普通に嫌ですし… ちなみに夫には報告しております。(もらえるならラッキーだから別に良いじゃんとのこと) 向かいの席にいるので事を荒立てたくはありません。 何かうまく穏便に断る方法はないでしょうか。