休日の上司の誘いを断るには?

私が勤めている会社の上司は、休日に上司宅でホームパーティのようなものを催します。
結構な頻度であり、その日程は上司と上司家族の都合だけで決まってしまいます。
（平日は上司の子どもの習い事があるため休日なのだとか。）

日程はこのような感じで、上司都合で決まるのですが・・・部下は全員強制参加です。
今回、プライベートな予定が重なり、欠席したいと思っているのですが、
断るいい方法は無いでしょうか。

部下は皆煙たがっている上司で、面倒なイベントであり、
毎回、皆色々な手で断ろうとするのですが、断るとしつこく理由を聞くそうです。
「友人の結婚式」を理由にした同僚は、証拠として招待状を持ってこさせられたりとか。。。
今回も、あの手この手で皆が逃れようとしていますが、結果はよくないようです。

やはり社会人たるもの、公言できる理由が無い限り上司の誘いを断ることはできないのでしょうか。
何かアイデアがありましたら、教えていただけないでしょうか。