セクハラ発言、モラハラに困っています。

今年入ったばかりの新入社員ですが、他会社の方のセクハラ発言やモラハラにどう対処したらいいか困っています。 私の働いている場所は他会社の方の出入りが頻繁にあるのですが、その中の私が担当している方が二人きりになると特にネチネチとやる気がないんじゃないか、自分の部下ならどついてるとか、あまりに私のプライベートの内容を聞いてくるので答えに困っていると冷たい、優しくない等と言ってきます。中には性器の話をしだしたり彼氏は出来たのかとかしつこく聞いてきます。 正直担当を変えてもらいたいのですが、社員も少なく、私のワガママで他の方に迷惑かけるのも...と今まで我慢してきました。上司に相談するのも考えましたが、その件の方と上司は仲が良くて言ってしまうと角が立つのでは、となかなか言えません。 仕事自体は楽しいですし、上司の方も良くしてくれるのでもう少しここで頑張りたいと思っています。 頭がぐちゃぐちゃで支離滅裂になって読みにくいかもしれません。ごめんなさい。 よろしければ何かご意見いただければと思います。