出入りの業者からの誘いをやめてもらいたい

はじめまして。40代女性です。 中小企業でパートをしています。 9月位から、社内の改装工事が始まりました。 会社のお得意の業者が入っています。 相談したいのは、その業者です。 業者は、60代男性で社長の方です。 私の会社の責任者とは長い付き合いのようで、立場が逆転しているような感じです。 顔を合わせるたびに、連絡先を聞かれ、セクハラまがいのことを言われたり、食事に誘われたりします。本当に気持ち悪くて嫌です。 最初は適当にあしらっていましたが、しつこいのでハッキリ拒否していますが、それでも言ってきます。無視すると怒りだし、暴言を吐かれます。 工事が始まって最初の頃、上司に言われ、その業者も交えて2回ほど昼食に行きました。 私はいつもデスクで一人で昼食をとり、その後昼寝をしたり、昼休みは好きにしたいので、ご馳走してもらったとしても全然休めないので、本当に嫌でした。 今は断るために毎日弁当を持参しています。 たまに昼食も誘われて断りますが、午後はずっと文句を言われます。 責任者が不在の時を狙ってやってきます。 毎日毎日嫌な気持ちで、なるべく顔を合わせないように気を遣ったり、疲れます。 仕事に行くのが憂鬱になります。 昨日、工事がまだ1ヶ月以上かかるかもしれないことを他の社員の方に聞きました。 もう終わるかと思っていたので、まだこの状況がしばらく続くのを知り、落ち込んでいます。。 一番良いのは、責任者に相談することだとおもうのですが、先に述べたようになんとも言いづらい状況です。 このことが無ければ良い職場なので、辞めたくはないです。 何かこの状況を少しでも変えられる術はないでしょうか。。 人生経験豊富な先輩方、アドバイス頂けますと幸いです。 よろしくお願いいたします。