新築祝い+結婚式のご祝儀

私は結婚1年目で乳幼児の娘がいる専業主婦です。

先日、私の実家に帰省したときに母から「〇〇ちゃん(母方の従姉妹)来年結婚するんだって、そこで、沙耶の家族も式に呼ぶらしいから」と言われそして、「今年の12月に家を建てるから新築祝いあげてね」と言われました。

その事を夫に言うと「新築祝いに結婚式のご祝儀は出費が多すぎる」と怒鳴られてしまいました。

私の結婚式には予算の関係で叔父と叔母までしか呼んでいませんでしたが従姉妹からご祝儀がありました。
また、娘の出産祝いもしてくれました。

しかし、夫にしてみればお盆とお正月に会う程度で話したこともないのでご祝儀は出しても新築祝いは出したくないそうです。

母からは「結婚したんだから」と言われます。
私がパートに出ることも考えていますが夫は「娘が小さいから駄目」と反対されています。

私はどうしたら良のでしょうか？

皆様のご意見、ご指摘いただけたらと思います。