共有財産？個人のお金？

結婚10年目、夫婦で自営業を営んでいます。
夫は独身時代から独立の為に数百万程貯金をしていました。
私は結婚資金に100万程親から援助をいただき、自分の貯蓄が100万円程ありました。

結婚前、結婚資金として「●万円位、お互い貯金しようね」と決めていたのですがその為に貯金していたのは私だけ……向こうの両親からも援助があったので問題なく結婚式は挙げられたものの、彼は一銭も出しておらずなんだか腑に落ちませんでした。
その後、生活が苦しくなったときは私の残った貯蓄を切り崩し、それが無くなったら子供を保育園に入れ私も仕事に出るようになりました。

数年後、夫の独立資金と公庫から借金をしてお店を持ちました。私も仕事を辞め店に入ります。

さらに数年後の現在、お店の借金を全額返済しローンを組んで住宅を購入。
その際、半年前に亡くなった夫の親族から”贈与されたお金”と結婚後の貯蓄を頭金に。さらに夫の両親から援助を受けました。

そして先日、夫がふと何気ない会話での中で「早く住宅ローン返済して、俺のお金返して欲しいんだよね」と言われました。
俺のお金＝住宅購入時に使った”親族から贈与されたお金”です。

確かに贈与されたお金は彼のものかもしれません。
彼の両親の援助がなければ住宅購入もできなかったかもしれません。

しかし、私の婚前財産は微々たるものですが、切り崩すことに何も厭わなかったし、返して欲しいなど考えたことはありません。
お店の営業は朝から夜まで、フルタイムで、家事、子育てもほぼワンオペ。
お給料は帳簿上は出ていますが、生活費とちゃんときり分けていないので使うこともいつも躊躇い無駄遣いもしていないつもりです。

このモヤモヤした感情をどう表現していいのか、わからずその時は聞こえないふりをしていたのですが、、客観的にみて夫の考え方が普通なのでしょうか？
ご意見を頂ければ幸いです。