嫌な同僚と上司との関係

同僚の話。
飲み会になると、冗談が過ぎ、下品な話題を始める人がいます。その人は能力があって（ある意味で器用なのです）人にも好かれています。男性ばかりの職場で、彼は男性にはウケがいいです。

しかし私は彼が嫌です。理由は、きわどい下ネタを私にふってくること。私を軽くたたいた後、私のいないところで「だってあいつむかつくじゃん（笑）」と言っていたのを偶然聞いてしまい、私が聞いているのを知った後に、「あ、居たんだ」と笑うなど、日頃から私を馬鹿にした言動が多いこと。話題が下品、軽い下ネタが多い。私が彼のことを嫌いなのは伝わっているはずですし、私は彼とは親しくしていないので、ほっておいてほしいです。先日も、飲み会の席で、彼が下品な発言をして、周りが、「冗談で」それを注意しだしたので、「○●サンの発言、下品だと思う。こないだも言われて本当に嫌でした。気をつけた方がいいのでは。」と、私だけまじめモードで言ってしまいました…。でも、普通飲み会でそういう発言は、周りは引きますよね…。場の空気が読めない女と思われたことでしょう。

上司の話。酔った勢いでキスをされたり、２人だけの飲みに誘われたりいやな思いをしています。その上司に対して嫌悪感を持ち、距離を置いていたら、それが周りにも伝わったらしく、「ayaさんの、あの上司に対する態度が悪い」と（なぜか）後輩の男性に指摘されました。上司の件はデリケートな話でセクハラ問題になるのも嫌なので、勿論誰にも言っていません。数少ない女性の先輩も自分の話ばかりで私の悩みなど聞いてくれそうにありません。

男性は徒党を組むし、空気も読めず上司にも反抗的な嫌な女って思われるのも時間の問題。
辞めるしかないかなと思っています。
ただ、どうして、私だけが損をするのでしょうか。同僚や上司のしたことは悪くないのでしょうか。
本当に辛いです。