距離感を置きたい先輩

初めて投稿しました。
アラサーのおふと申します。
早速ですが私の悩みを聞いてください。
職場に仕事面では本当に尊敬できる先輩がいるのですが、仕事以外では男性の話(特に元彼話)と社内の人の不平、不満、愚痴、悪口ばかり言う方がいます。
また先輩は自分の事をお洒落、美人ともしょっちゅう言います。
(実際は平凡な方です)

２年程は我慢して良い面をみようと努力したのですが、ここ１年はプライベートでのお誘いやランチのお誘いもやんわりお断りしています。
が…やんわりがいけないのか全く相手は私の意図を汲み取ってはくれず、ウンザリしてしまい会話をしたくない時は黙ってしまうのですが、そんな時は勝手に私が具合悪いと思い込んでいたりします。何でも自分に都合良く解釈するみたいです…。

仕事では一緒に頑張っていきたいのですがプライベートな時間は距離を置きたいのです。
何か良い方法はないでしょうか。ご意見いただけたらと思います。よろしくお願いします。