主人の従姉妹へのご祝儀について

情けない相談ですがご意見を頂けるとありがたいです。

今年主人の従姉妹（義父の妹の娘）が結婚式を挙げる予定です。
コロナの影響で中止の可能性もあるようですが、ギリギリまでやる方向で話が進んでいるようです。
万が一式をやることになったとしても、やはりコロナが怖いので私たち夫婦は式には出席せず後日3万円のご祝儀を渡す予定でいました。
そんな中先日義父から従姉妹へのご祝儀について私たち夫婦から5万円包むようにと主人に連絡がありました。
私たちが結婚した際に叔母から結婚祝いとして5万円頂いたからという理由だそうです。
叔母が義実家に預けた私たちへのご祝儀を義父が一度開封していたようで頂いた金額を知っていました。
コロナで仕事が減り金銭的に厳しい中で5万円の出費はきついと思っていると主人が『あのご祝儀は叔母さんから頂いたもので従姉妹からではない。俺達からは3万円、俺の親から5万円渡せばいいのではないか。そもそも俺たちへのご祝儀の中身を確認してる事が有り得ない。』と言い出しました。
すぐさま主人が義父に電話をしてその旨を伝えたのですが、『お前達が貰ったものなのだからお前達がきちんと5万円渡せ。別にお金を抜いたわけではないのだからそんなに怒るな。お金に余裕が無いならご祝儀を使わずにとっておいてそのまま返せばよかったじゃないか。 結婚式にも家族全員できちんと参加しろ。』などと言われ電話を切られてしまいました。
義父はなかなか頑固で自分の中で一度決めたことは曲げません。
これまでも金銭的なことで何度か揉めてその度にこちらが折れてきたのですが、今回ばかりは状況が状況なのでとても悩んでいます。

おめでたい事なのは重々承知していますが、5万円も渡したくないと思ってしまうのは心が狭いでしょうか。