貯金していた養育費について

はじめまして。 家族構成　私（専業主婦・妊娠中）、夫（会社員）、子供の三人家族です。 結婚７年で私は初婚で主人は再婚です。 主人は出会った当時に既に離婚していて、子供二人は奥さんが引き取られていました。 主人から聞いた話によると、離婚に際し弁護士さんにお願いしたそうで（月一回の子供との面談・子供二人分月５万円の養育費を払う）という条件で離婚に至ったそうです。 当初からきちんと養育費は振り込んでいたそうですが、途中から相手の振込先に振込みが出来なくなったそうで、代わりにいつ連絡がついてもよいように主人名義の通帳に毎月貯金したそうです。 それは私と結婚してからも続き、その通帳は私が管理していました。 ところが最近、その通帳と印鑑を自分が管理すると言われ渡したところ、後日ローンの繰上げ返済に使ったと説明を受けました。 私は漠然とした知識しかないのですが、養育費は支払い義務があるから突然請求されたら困るよと言ったのですが、ない袖は振れないと主人は言います。 請求されたときに考えるといいます。 それで大丈夫なのでしょうか？アドバイスを宜しくお願いいたします。