社員旅行(部署単位)をキャンセルしたい

一旦参加すると言った部署の旅行を、キャンセルしたいです。 理由は人間関係諸々。 なんとなく馬鹿にされてるな～と思っていたのですが、それが最近確信に変わりました。 旅行自体は来週末で、1泊2日の予定です。 万単位の費用を払って休みをつぶしてまで、嫌な思いをしたくありません。 ただ、６人いる部署の全員が今のところ参加予定のようです。 部署自体は今月（今年度末）で解体され、半分程度の人が年数的に支社から転勤になる予定です。 断っても後腐れはないとは思いますが、支社内で変な噂がまわっても嫌なので、 もっともらしい理由を考えています。 ○実家からその日指定で帰ってこいと言われた。 ○妻がケガをして自由に動けなくなり、子ども(2歳児)の面倒を見なければいけなくなった。 ２つとももっともらしい理由をつけようとすればつけられるのですが、 向こうから突っ込んできたりして、詳しく話そうとして墓穴を掘ることを心配しています。 それこそ親がやっている家業の関係で急に・・とか 妻が転んでひびが入って自由に動けない・・とか。 怪しまれないでしょうか？