セクハラなのか我慢すればよかったでしょうか。

派遣で働いているアラフォー主婦です。派遣先では笑顔を心がけて責任を持って働いてます。
数ヶ月たち派遣先の指示社員ではない年上の男性社員が微妙な事をするようになり不快でした。
・苗字でなく名前にさんづけでよびだした。
・近くにいるのに呼ぶ時に肩に触れる。
・パソコンで作業指示の際体の距離が近過ぎる。
・私がマウスを持っているのに、急に操作しようとする。
・パソコン操作している腕を話しながら撫でられ、ギョッとして固まり、恐怖を感じた。
近づかれたら体を離したり、立ち上がったりしましたが気づいていないようでした。
夫に気にしすぎかなと話すと、それはセクハラではないか、必要もないのに職場の人にふつう触らない、さりげないのが悪質だしエスカレートすると怖いからすぐに辞めろと言われました。
しかし派遣の契約期間があるし、男性社員はベテランであり事を荒だてると、他の社員さんや会社に迷惑をかけるので、派遣営業ではなく派遣の相談室に偽名で相談し、今後どうやって回避するか話しました。愛想よくせずに隙を与えず毅然と事務的な対応に切り替えて仕事をきっちりしようと思いました。
私の態度が変わったのに気づき、挨拶を無視したり他の社員に私の態度が悪いと噂していました。他の社員も同調している方もおり、すごくショックでした。
嫌悪感があり冷たすぎる態度だったかもしれません。相談したら相手に負担をかけてしまうと社内の人には話しませんでした。私のコミュニケーション能力がもっと高ければスマートに解決できたのか、張り切って業務に取り組んでいたけれど虚しいです。
今までの派遣先でこのような目にあった事がありません。アラフォーで若い子ではないのに、我慢するべきだったのでしょうか。
残りの派遣期間どのような心持ちで勤務したらよいでしょうか。夜も眠れないです。ご経験のある方相談にのってください。よろしくお願いします。