困った上司にどう対処すればよいでしょう

かれこれ１０年近く海外に住んでいましたが、仕事の関係で帰国した３０半ばの女性です。組織の中で半独立に男性上司（５０手前）とグループをシェアしています。 長く海外にいたので適応できるのだろうかと思っていたのですが、皆さん親切で感謝しています。が、困ったのがこの上司。深く考えずに発言するようで、出張に行くたびに私の噂を拾ってきては「すごく悪口いわれていたよ」、「えせアメリカンさんなんか雇って大丈夫なのっていわれちゃった」と下の人のいる前でぬかします。もうすでに３回、不快感を示したり下の人の前で言うのはやめて下さいと言ったのですが、「え～、でも出張に行くたびに噂聞くんだよね」と相手にする気配もない。たちが悪いことにこの人は多分悪気はないのです。 周りには気にしないのが一番と言われるのですが、どうして下の人の前でいうのか理解できません。私も同じことをしてやろうかしらと妄想してしまってます。こちらに赴任するにあたりさらに上の上司が「もし上司と問題があれば自分に言うように」と言って下さったのですが、どうもそれは最後の手段な気もするし。 皆さんならどうなさいますか？