「目立つ声」＝「お喋り」と思われ悩んでいます

私の声はトーンが人より高く良く通ります。いわゆる「声優声」というのでしょうか？
そのせいなのか声は人一倍目立つようで、職場で必要以上にお喋りに思われ、悩んでいます。

私としてはみんなに合わせ、みんなと同じくらいの量を話しており、率先してベラベラと喋ったりはしていないつもりです…。
声質に加え耳管狭窄症で人より軽度聴力が劣り、地声が大きいことも要因だと思います。学生時代から、授業中こっそりおしゃべりしていてもいつも私だけ目立ち怒られていました。

先日好みのタイプの異性の話になり、私が「無口な男性がいい」と言ったところ、上司二人（二人とも女性）が顔を見合わせ、まさに失笑と言った感じで吹きだし、その後「自分と正反対の人が好みなんだね」と嘲笑しました。その態度がとてもショックで落ちこんでいます。

仲の良い同僚は「きなこちゃんの声が可愛いから妬いてるんだよ、気にすることないよ」と励ましてくれますが……。

以来職場では極力喋らないようにしています。が、手術をして声が低くなるなら、手術をしたいとまで悩んでいます。
良い解決法はないでしょうか…？
やはり「喋らない」が一番でしょうか？