陰口より、擁護されることが辛いです

20代会社員です。子供の頃からどこに行っても一部の人に激しく嫌われます。味方も常にいるので、そうひどいことにはならないのですが、あまり話したこともないクラスメートが二人いれば、大体どちらかには嫌われます。通りすがりに

「あの子？別に不細工じゃないじゃん」
「えー！？不細工だよおー」

と声も落とさずに会話されたりするので、それを聞いた先生や友達が庇ってくれるのですが、それがかえって辛いのです。社会人の今ですら、やはり聞こえるように陰口言われます。そしてそれを窘めている上司の声も聞こえてきます。私のした仕事を二人でわざわざ確認し、上司が「ほら、ちゃんてできているよ…」と耳打ち。後輩は舌打ちしながら「でもお～～！」と喚きまくり「先輩に対して失礼だよ」と怒られていましたが、この後輩が私が信頼している上司に陰口吹きんだと知ってしまった以上、庇って頂いてもうれしくはありません。

敵に嫌われるのは仕方ないとしても、自分が好きな人達の前で恥をかくのはたまりません。弱みを見透かされたようでいたたまれなく、友達や彼氏とも前のように付きあえなくなります。一体どうしたら、無難に過ごせるのでしょうか。