お客さんからデートに誘われるのが嫌で異動したい

とある企業で営業しています。 法人担当の営業で、特定の法人のみを相手とする営業です。 相手の部門の上司層の方に、個人的な遊びに以前誘われました。 昼からデートのようなプランを練られ、夜までご飯に付き合い、全額奢られました。 これはビジネス的な付き合いを超えているのではないかと思い、正直とても嫌でした。が、断りづらく 自分の上司にも相談しましたが、関係性構築のために行って来いと言われました。 それだけで終わればいいかと思い行きましたが、その後も誘われます。 「この場所見つけた時、あなたと行きたいってずっと思ってたんだ」と、下心があるような話ぶりをされます。可愛い等も言われます。 今回誘われた時はなんとかはぐらかしましたが、次回会う時や 電話などでいつ具体的に誘われるか分かりません。 また、電話なども打合せで出れない時、「なんで最優先で出ないの」「もういいよ」など、機嫌を損ねたような口ぶりで話します。正直とてもめんどくさいです。 上司に相談したところ、今後打合せなどで一対一にならないようにしよう、と言ってくれましたが そのお客さんとは大型の取引があるため、必ず飲み会は定期的に開催します。その方は、帰り道を私に無理やり合わせてくるので(他にもっと早く帰れる手段があるのに私の電車に合わせてきます)そこで二人になってしまいます。 もう、打合せだけでなく電話もメールもストレスに感じてしまい、本当に厄介なことになる前に関わりを断ちたいのですが、 ボディタッチのようなセクハラはされていないのに異動を希望するのはわがままなのでしょうか？ 本当に業務以外の無駄なストレスを抱えていることが苦痛です。その方が関わる案件では毎回気持ち悪いと思ってしまいます。 ご意見を聞かせていただけると幸いです。