上司が気持ち悪い

30代会社員の女性です。
上司は50代男性で、とても優しく仕事上も尊敬しているのですが、くちゃくちゃした話し方がとても気になってしまいます。
極端にくちゃくちゃしているわけではないと思うのですが、声が低く小さいことと、少し距離が近め（下心は全くないと思います）なので、隣から話しかけられたときに、くちゃくちゃしてる…と感じてしまいます。
会議などで距離を置いて話しているときは気になりません。

態度に出さないようにしたいのですが、どうしても生理的にぞわぞわして会話中に一歩下がったりしてしまいます。
先日ふいに横から話しかけられたとき思わず背筋がゾゾゾーっとし、のけぞってしまい、上司も傷ついたと思います。
とてもよい上司なので失礼のないようにしたいのですが、どのように対応したらよいでしょうか。