会社に担当を変えてほしいと言いたいけど…

こんにちは。 社会人2年目で営業をしています。 取引先の男性の話です。 その方は20以上歳が離れているのですが、たまたまお互いの家族のことで共通点があり、仕事以外の話も盛り上がる相手でした。また、社内でも「トピ主は〇〇会社に気に入られてるね」と言われるほど、私が担当になってからたくさん仕事をいただいており、とてもありがたいお客様です。 ある日、その相手にLINEを交換したいと言われました。すでに会社携帯の連絡先を交換しているのになぜLINEを交換するんだ？とは一瞬思ったのですが、特別断る理由も思いつかなかったので交換してしまいました。(今思うとこれがよくなかったのかもしれません) それ以来、雑談する際もプライベートの話により踏み込んだ話になってきました。 ある時、彼氏はいるのかを聞かれたので、男性と付き合ったことがなく今もいないことを正直に言ってしまいました。 それからというものの「自分は昔はよく女の子と遊んでいた」「精神的な癒しは趣味だったけど、身体的な癒しは女性」「もし独身だったらトピ主を遊びに誘いたかった」というような話や、「男の人って本能的に性欲が強い」という旨の話を結構具体的にされました。 その場ではそうですか等と相槌を打てたのですが、後から冷静に考えるとなんか話の内容が気持ち悪いな…と思いました。自意識過剰かもしれませんが、遠回しにそういうことをしたいと言われているような…。 最近その会社の名前を見たり聞いたり、社内で「気に入られてる」と言われるのも少し嫌になってきました。 なので、今している仕事が落ち着いたら、担当を変えてほしいと伝えようかと思っています。 ただ、何かされたわけでもないのに取引先を変えてほしいと言ったら生意気とか贅沢だとか思われるんじゃないかと不安です。 みなさんならどういう風に会社に伝えますか？