去年ってことは結構月日が経ってますよね。
元カレさんはもうあなたとのことは忘れて次にいってるんじゃないかな。
次って別に新たな恋という意味じゃなくて、人生の次に。

＞怒ってるのか、返さなくていいという意味かな？と分からずモヤモヤしてます

想像ですが「今更なんだよ、返さなくていいよ」ってとこかなあと。
怒ってるというよりもうどうでもいいのかもしれません。
「貸した金はくれてやるからもう連絡してこないでくれ」的な。
このまま返信がなければ返さなくていいと思う。
会いたくないし口座番号も教えたくない。それが彼の答えだから。

そこを「どうしても返さないと気が済まない」というのであればそれはあなたの自己満足になります。

彼は主さんからの全ての連絡先をブロック、受信・着信拒否してるのでは？
電話の受信拒否もしてるのならショートメールも届かないでしょう。

別れると決まった時にお返しするべきでしたね。

また手渡しの提案は良くないですよ。
まだ会う口実にそれを言い出してる！としか思わないので。