親からお金をあげると言われたのですが…

40代共働き家庭 高1娘、中1息子の4人家族です。 私  公務員  年収680万 夫  会社員  年収540万 両親や姉妹との関係は良好です。 昨年の夏頃実家に帰省した時に、母親から「400万円あげるから、住宅ローンの返済にあてなさい。ただし、他のことに使ったら承知しない。」と言われました。 家は20代の時に建てたので、ローンは長く借りられたので、月々の返済額は無理の無い金額。特にこちらからお金を欲しいとも親に相談したことは無いし、今までもお金貸して欲しいとも頼んだことはありません。ただ、母親は私が実家に帰省する度に、住宅ローンを繰り上げて早く返せとはよく言っていました。ローン組んでる方なら誰しも繰り上げた方がその分利息を払わなくていいことはわかっていることですが、我が家子ども達にこれから一番お金がかかる時代に突入します。学費免除も一切受けられない世帯です。現金を置いておかないと子ども達の学費が捻出できません。私の実家は比較的裕福ですが、私自身は実家のお金と我が家のお金は別だと思っているので、余程困ったことがない限りお金の相談は今後もしないつもりでいます。 ただいま正月につき、実家に帰省中。母親が「あなた、400万のこと、何も言って来ないけど、どうなってるの？」と姉妹家族がみんないる場で言って来ました。正月に帰省するまでに何度か実家に帰る用事があったけど、親は何も言わなかったので、もう80代だし忘れてるんだろうな。くらいに思っていたら、そんなことをみんなの前で言われたので、私は「返せないことは無いから、別にもらわなくてもいいよ。」とだけ言っておきました。母親は不満げな様子でしたが、どう対処すれば良かったのか、皆様の金銭感覚を踏まえて色んなご意見を頂ければありがたいです。よろしくお願いします。