今後の対応を教えてください

３０歳、独身、契約社員で建設関係の事務をしています。2年目になります。
男性５人、女性は私だけの職場です。

最近下請けの職人さんへの対応に困っています。

その人は４８歳独身です。
毎日事務所に来ては自分の私生活の話（彼女ほしいなど）をしてきます。それが長いので業務の邪魔ですし、興味がないので精神的に苦痛です。またあるときはお菓子や飲み物、クリスマス前には花をかってきたり、この間は商品券をくれようとするので、こわくて事務所のお菓子代にしてくださいと言って返しました。

こんなことが繰り返しあるので、困ってしまい会話をするのをやめると「女性は周期的なのもあるしね」や「○○さん、もっとはっちゃけて遊んだほうがいいよ。仕事ばっかりだとストレスたまるよ」などセクハラ発言をされ、私に問題があるような言い方をされました。

こういった業種も初めてだし、現場系の人と接することもなかったのでこの状況に慣れないし、耐えられないし、すごく悔しい気持ちです。
こういうことってよくあることなのでしょうか。
私自身が神経質に対応しすぎだと思われますか？皆さんが同じ状況だったらどんな対応をとりますか？
現在の状況についていけず、職場で相談できないので冷静に判断できませんので助言をお願いいたします。