寂しがり屋の先輩

僕と彼女は平日会えないので、金土日は二人の時間ということで遊んできました。

それがここ最近、僕の先輩(会社の上司・男）が離婚してしまったということもあり、毎週末ボクらと3人で食事しようとか遊ぼうとかで誘ってきます。
その先輩は友達が少なくちょっと難しい人なので、僕ら二人くらいしか遊ぶ（誘う）人がいません。
彼女もノリがいいのでオールナイトや晩酌に付き合ったりしてたので、先輩が彼女を気に入っています。
僕抜きでアドレス交換をはじめたり、とにかく三日三晩なので困っています。金土日全部なのです。

彼女からしたらただの先輩ですが、僕からしたら会社の上司なので言動に気を使いますし（何度も彼女の前で怒られたり、土下座もしたことあります）仕事もプライベートもその先輩と会っていることになるので気が休まらないし、24時間気を使って過ごしているのと同じです。

そのストレスやイライラが先輩が帰った後、彼女にぶつけてしまったりで僕らの恋人関係もおかしくなったりで、正直もう先輩にはプライベートで遊びたくありません。
週末が来るのが怖いのです。
どうすれば、先輩のお誘いを断れるか。プライベートで遊ばなくて済むか。

いいアドバイスお願いします。