気持ち悪い上司／社員旅行を断る理由

ここ最近、直属の上司（６０代既婚男性）から私（アラフォー独身女性）に対する好意が日増しに加速しているようで悩んでいます。→そんな上司と移動中毎回隣の席になるかもしれない社員旅行を回避したいです。
お知恵をお願いします。日常のアドバイスも助かります。

（経緯）
～２年前～
・上司から唐突に「君が優しくて好きになってしまいそう」と言われる
・会社の駐車場で「１回だけ抱きしめさせて」と言われハグされる
・思い出し怒り＆気持ち悪さから、後日上司に謝罪を要求する→上司からは謝罪の手紙をもらう

それ以降、大げさに避けることなく普通に仕事として接してきました。職場の誰にも相談していません。
そして現在、上司と同じ趣味（ゴルフ）に私が目覚めてしまい困っています。
職場の５人ほどで打ちっぱなしに行き、すっかりハマりました。
上司は部下（私以外も）がゴルフを始めて嬉しくてたまららない模様。
特に私には「君は娘みたいなものだからクラブ買ってあげる」「練習見てあげる」「コースも二人で行こう」と明らかに過剰な反応。
「クラブは自分で買う」「練習はみんなで行きましょう」と断りましたが今日は別室に呼び出されて「クラブ本当に大丈夫？」と聞かれて辟易してしまい、今は上司への気持ち悪さがマックスです。
８月に社員旅行がありますが、移動の際など、上司の隣に座ることになると思います。
出欠をとったのはゴルフを始める前なので、欠席するなら「突然発生した」理由が必要です。

理由は飼ってるペットの世話を頼めるアテがなくなった、とかにしようかと思うのですが…。
他には他県の家族・祖父９０歳を引き合いに出す？くらいしか思いつきません。
会社に迷惑をかけたいわけではないので事前にキャンセルしたいのですが、なにか「しょうがない」言い訳を授けて頂けませんでしょうか。