年配の上司の飲み会の誘いが嫌でたまりません

私はアラフォー独身女性で失業しましたが運よく就職できました。採用してくれた上司（50後半か60近く？）にも感謝していました。
でも新しい職場、仕事になじむのに必死で周囲にも気を使いまくりな疲れる毎日です。
最近その採用してくれた上司から飲みに行くので都合を知らせろというメールが届きました。
2人きりではないのですが参加者は全員えらい立場の年配男性ばかりで女性はいませんでした。
その上司は職場の女性たちからは相手にされていないということが最近見えてきました。
雇われたばかりで「NO」と言えない私がターゲットにされている気がしてセクハラ的な気持ちはないと思いますがうんざりなんです。
試用期間が3ヶ月でこの年齢だし心底本採用になりたいです。
でも飲み会まで。。。自分は私の弱みを握っているに等しい立場なのに無神経すぎる。
周りに相談しましたが1度でも応じるとたぶんこの先も誘ってくると言われました。
入社して1ヶ月も経っておらず最大限に気を使う相手と飲みに行きたくない。仕事だけでも十分精神が疲弊してます。
昔勤めた先で似たようなことがあり年配上司にしつこくされるようになりノイローゼ寸前になりました。
あんな思いは絶対したくないので断りたいのです。アラフォー独身ていうと何でいつも目をつけられるのか。。
若い子は相手にされないし何かと言うとセクハラを持ち出されるけど、アラフォー独身ならだいじょうぶだろうというのが
透けて見えるんです。直接言われたなら「用事があります」と言えるのにメールで周囲にはわからないようにわざわざ言ってくるのも卑怯な気がします。
うまく断るすべはないでしょうか。私がかたくなすぎるんでしょうか。アラフォーで採用してもらったなら我慢
しなければならないのでしょうか。