職場の方から物を頂くことについて

よければご意見お聞かせください。
私は今年転職をした２０代前半の女性です。
私以外に２０代はいない職場で、たくさんの方から気を遣っていただいていますが、別部署の男性社員（４０代）の方からたまに物をいただくことがあります。
仕事の付き合いで買うけどうちではこんなに食べきれないから、と食品をいただいた時はありがたく受け取っていたのですが、先日1000円相当のクオカードや５０００円相当のギフト券をいただいた際は正直戸惑ってしまいました。
さすがに受け取れないと伝えたところ、使わないし、自分も入社したての時一人暮らしで苦労をよくしておりその時にお世話になった人から、自分と同じ立場になったとき同じようなことをしなさいと教えられたから、と言われ、受け取ってしまいました。他にも、行きつけのお店から付き合いで買った美容関係のグッズなどもいただきました。
お礼に少し良いところのお菓子などを買って渡すなどはしているのですが、その方からの厚意を素直に受け取ってもいいのだろうか悩んでいます。
別の部署なので仕事のかかわりはあまりなく、またその方との交流も職場で物をいただくのみなのですが、今まで男性関係で悩まされてきたことが多かったために素直に厚意を受け取ることが出来ず、何かトラブルに発展しないかとか色々考えてしまいます。
よければご意見お聞かせください。