誕生日プレゼントの渡し方？

誕生日プレゼントの渡し方で悩んでいます。
つい先日の出来事を聞いて下さい。
兄が結婚して義理の姉ができました。その義理姉の誕生日があったのでプレゼントを渡そうとした時の話です。（私の方が誕生日が先なので一度もらっています。）
誕生日まで明後日と言う時に偶然兄に会いました。義理姉の誕生日の話になり、当日兄たちは食事（夜）に行くそうです。（誕生日は平日です）ならば、私は一日早いけどおめでたいことなので明日にでも渡したいなぁ～と伝えた所、兄から『気持ちは分かるけど、誕生日プレゼントを早めに渡すのは失礼に当たるから止めてくれ妻はそういうのに厳しいから』と言われプレゼントを早く渡したいというワクワクしていた気持ちが一気にしぼんでしまい少し悲しくなりました。
あまりに早くあげるのは失礼だとは思うけど遅れるより早いほうが『あなたの大切な記念日！忘れてないわよ♪』って意味が込められてて良いのかなと勝手に思い込んでいました。
一日でも早く渡すことは、そんなに失礼だったのですか？知りませんでした（泣）