いない所では、あのブサイクと呼ばれている

3人以上の友達やあとは会社の飲み会、親戚などの集まりの祭、トイレなどで席をはずすと、あのブサイクが…などと聞こえてしまう事が多々あり落ち込んできました。

30代の時に派遣先の企業でのブスいじめにあい、病んで10年薬を服用していた間に友達も全てきり、その後コロナなどで親戚ともほぼ会わない様になりました。今では薬もやめて気力も戻りとても良い状態です。
人間関係も友達はいませんが、信頼出来る家族とだけ関わることで精神も安定しています。

病んだ時に仕事が休みの毎週末、最近になるまで会いに来てくれた姉と、今は姉の娘（姪）が私が病んでいる間に子供を産み、その姪の2人の子供の子守や、ジムに行ったり親の仕事の事務の仕事、家事など忙しく充実した日々で忘れていましたが、姪の家で子守をしていた時に姪の友達が来て（家の中には入って来ていません）あーブサイク来てんの〜的会話がチラッと聞こえ、又昔の記憶が蘇りました。姪の友達に会った事はありません。でも考えてみれば今までの経験や毎回のパターンで、あーそーだよな…と思いながらも、久々だった事ですごく落ち込みました。
もちろん姪とは仲良しです。
昔仲の良かった友達も同じ感じだったなと思います。いつも彼女の家で一緒に過ごして遊んでいました。ある日ちょっと彼女の家に寄った際に、彼女の別の友達（学校で顔は知っている子）が来ていて、あーブサイク来た〜的なのが聞こえた事やこのようなパターンが、違う友達などでも多々ありました。

慣れや諦めもありますが、人を心から信頼することが出来ません。
どの様に考えるべきでしょうか？