年下の同期が私のキャラクターを違う方向に作り上げ困っている。

30代半ばの女性です。8歳年下の女性同期が私のキャラクターを違う方向に作り上げ困っています。

私は職場では、やわらかい話し方や雰囲気を保ち、おおむね清楚で、優しいお姉さんと思われるよう振る舞ってきました。

ですが、年下の同期が、
「昼休みに私と二人で話している時と、事務所での態度が違う！！」
「みんな○○さんのこと清楚で優しいと思ってるけど、騙されている！！」
「みんなに○○さん全然見た目と違うとバラしてやる！！」など言います。

確かに二人でいるときは、私はよく話しますし、よく笑います。
冗談もいいますし、たまに毒も吐いてきました。

なぜなら彼女とは同期なので話しやすさもありますし、何より彼女はあまり
口数や話題が豊富ではないため、私は話題が尽きないように努めてきました。
ですが、私は基本「聞き役」の性質で、どなたかもっと話す方がいれば、
笑顔でうなずいて聞いていることが多いです。

ですが彼女は、そういうことは知らず、昼休みの私の言動で
そのように判断しているようです。

彼女の前でそのように振る舞ったために、彼女の目にはそう見え、
そういう風に言われる原因を作ったのは私ですが、
何とか今からでも払拭できないかと悩んでいます。

現在の職場で気になっている男性もいますし、やはり本来のやわらかい雰囲気で
接したいです。
ですが、彼女に「○○さん猫かぶってる！！」と言われるのも時間の問題です。
自分のイメージが彼女によって崩されると、非常に迷惑で過ごしにくいです。

何とかならないでしょうか？