上司に困っています

私（未婚 20代後半 女性）は上司（既婚 30代後半男性）に食事に誘われたりして困っています。

最初は何人かでできるスポーツに誘われたのですが、私はスポーツが得意ではないため断ったのですが何回もしつこく誘われました。

それが無くなったと思ったら、帰りバスが一緒になると話かけてくるようになり、これから飲みに行かないかなど誘ってくるようになりました。予定が合わない、最近お酒は控えていると色々理由をつけて全てお断りしていました。

既婚者と2人きりになりたくないのもありますが、以前話をしていた時に、私がべろべろに酔っ払ってるところを見てみたい、ちゃんと介抱してあげるから飲もうよと言われてゾッとしたからです。冗談だったとしても気持ち悪いと思いました。

でも一回だけ仕事の飲み会だということでその上司主催の飲み会があるというので、仕事の飲み会なら他の人もいるしと思っていくことになりました。他に誘いたい人はいるか聞かれて、他の上司の名前をあげましたが、何かと理由をつけて却下されました。正直ハテナだらけでした。結局行ったのは私ともう1人女性だけで、普段この上司が飲み会を開いても誰も来ないそうで、騙された気分でした。

最近は会社でも、帰りも話したくなくて避けているのですが、帰りのバスは話かけてくることもなく後ろに座ってきたり、バス降りた後私が来るのを待っている感じを出して来たりします。

正直ストレスになっていて、これが原因かわかりませんが体調も悪く会社を休んでいます。

今まで男性に食事に誘われてもこんなにしつこいことは無かったのでどうしていいかわかりません。雰囲気悪くなることなく誘われなくなるにはどうしたらいいでしょうか。