夫の元上司の結婚式への参加！？

20代後半のJUNと申します。タイトル通り、夫の元上司の結婚式に奥様も都合がよければ・・・と誘われています。そこで、悩んでいる私に小町の皆様からアドバイス頂けますと有り難いです！

夫の元上司は、今主人が勤めている会社で、入社した当時大変お世話になった方です。元上司が会社を辞めたのですが、その後も主人とはプライベートで色々とお付き合いがありました。

今年の２月、私たちの結婚式の際には、元上司は乾杯の挨拶をして頂きました。
乾杯の挨拶を引き受けてくれる際、「一度、奥さんに会わせてくれ」との要望があったので、食事会をしました。もちろん、費用は私たち持ちです。また、式の時はちゃんとお車代も用意しました。

元上司は、ご祝儀に５万も包んで頂いて、更に２次会にも参加してもらって本当に感謝していたので、
元上司から結婚の報告があった時、主人も私も、５万包もう！っと決めていました。
しかし、最近奥様も・・・と主人に連絡があったそうです。
主人は人間関係をとても大切にする人なので（悪く言えば断れないタイプ）、一緒に行こうと言っています。
ただ、夫婦で参加となれば、10万は包まなくてはいけないし、女性は何かと準備にお金がかかるし、
二次会まで参加となると13～15万の出費となると思っています。

正直、親戚の間柄でも無い方に、10万包むのも・・・・とも考えてしいます。
ただ、主人は本当にお世話になって大切にしている方なので、これからの関係上、出費覚悟で参加した方がいいのか迷っています。断るにしても、失礼の無いように断るには、どうしたらいいのかも悩んでいます。

元上司の結婚式は11月で、早々に返事をしなければいけないようです。
皆様の意見を頂けますと有り難いです！
よろしくお願いします。