これはハラスメントになるのか

１年間産休・育休を経て(27才)、会社に戻ると大きく変革があり、元の部署がなくなっていました。
以前いた部署は現場のなかでも裏方よりの仕事であったので
現場の仕事に戻るか、裏方の事務系の仕事に戻るか聞かれ、裏方の事務系の仕事を選びました。

同僚は１人男性(妻子もち30代半ば)がおり、色々と仕事を教えていただいてたのですが、
かなりコミュニケーションが特殊な方で
苦手なタイプだったので、そつなく過ごしていました。

「私さんって、かなり騙されやすそうだよね！！俺が好きとか言ったら信じるの？？？(笑)」とか
「私さん、俺のこと嫌いでしょ、どーせ(笑)」とか
「ちょっとした事で喜ぶとか軽い女だな～～」など
業務中に私の許容範囲を越えた軽口を叩いてきます。

しまいには
「またすぐに産休とかやめてね」とまで言われ、
「冗談だよ～～」などごまかされましたが、
正直不愉快の極まりでした。

つもりに積もって少し私が反抗すると
態度が一変し
「君は頑固だよね！俺だってキレるよ？」
と逆キレされ、
仕事も回してもらえなくなりました。

もうその人は転職するためいないのですが、
最後の最後まで私の悪口を周囲に言いふらし
聞かされてもいない話を
「え？話したよね？どんだけ記憶力悪いの？？？ほんと悪いよね～～」と大声で話し、

おだてないと面倒な人になりました。
私の要領が悪いこともあるとは思うのですが。

普段は
私自身、波風立てたくないので
慣れるまでは下手にコミュニケーションをとり、
普通の方はそこから仲良くしていくのですが
どうも30代半ばの人だと上手く行きません。

この子なら話しても大丈夫と思われるのか
一般の人はしない一線を越えた失礼な言動をされます。

今後の参考としてこういう種類の人と
どうコミュニケーションをとっていけばよいか
ご参考にさせてください。