お香典のお返しはいらないと言われたら

こんにちは。トピックを開いて頂いてありがとうございます。葬儀が終わってから知らなかったと言う人がお香典を持って来られて｢お返しは無しで。ほんの少しだから｣と言われたことありますか？私は何度か言われたことがありその度に迷ってしまいます。遠慮なのかどうか頂いた側としては困ってしまいます。葬儀ではないのですが義母の法事の時は都合が悪くて後日お参りに来られた叔母からお香典を２万円頂きました。叔母は｢本当にお返しは要らないからね。｣と言われましたが２万円も頂いてお返し無しはどうかと思ってカタログギフトをお送りしたのですがお礼の電話で叔母が｢要らないといったのに…あんな少しで。こんなことされるともう上げられなくなっちゃう｣と半分、立腹のようでした。翌年の義父の法事の時も同じことを言われたので今度はお返しをしませんでしたがそれで良かったのか今でも考えることがあります。
私の父が亡くなったことを後から知った夫の親戚はやはりお返し無しでと５０００円のお香典を下さいました。この親戚の方と父とは面識がありません。迷った末、実家でお返しを送ってもらいました。金額によってでしょうか？難しいです。ご意見お聞かせ下さい。