上司からのプライベートのお誘いがしつこいです

ご意見頂ければ幸いです。
タイトルの通り，職場の上司から頻繁にオンラインゲームのお誘いがあります。
立場として断れません。
また、許せないのが

”良くして頂いてる上司”では決してなく、
”不機嫌や癇癪をぶつけてくる・ターゲットを変えていつも誰かに攻撃している嫌われ上司”

であることです。まさにプライベートでは一切関わりたくない人なのです。
その上、その方のパートナーまでも一緒になり、LINE等も頻繁に動き
迷惑この上ないです。自分より2回り以上歳上の方ですが
良い歳をして部下の私の前でいちゃいちゃしています。
私は離婚直後で、不快極まりないです。
後輩への配慮など、カップル揃って微塵もないのでしょうか。
嫌いな上司カップルにプライベートで多くの時間をとられ、気を遣うのが負担です。
しかし、気に入らないことがあると
ある日突然スタッフを無視したりする方で、以前にも何人も退職に追いやられているようです。ですので、下手に「ゲームをしたくない」と思っていることをはっきり伝えられません。
遠回しに断ってもしつこく逃げられません。

困っています。
ご助言頂けますと幸いです、
どうかよろしくお願い致します。