好かれて悪い気がしないって何にも思ってない人からでもですか？

24歳の会社員女性です。
付き合っている彼氏がいます。
でも職場の男性にしつこく言い寄られて困っています。
付き合っている彼氏がいても「別れるまで待つから！」などと会話がかみ合いません。

年齢も39歳でかなり年上で、上司にはなるのであまり強く言えず
すると何を勘違いしたのか、机の上に勝手にプレゼントを置いてみたり
忘年会で言い寄ったりして来るようになりました。
プレゼントは返却し、会社の上にも相談しましたが
仕事自体はできる人ですし、私の苦情を伝えたら「二度としません」と謝罪してきたのでこれで
終わったと思っていましたが、また同じことをやりはじめました。
会社の携帯を使い、彼氏といつ別れるの？ご飯食べに行こうとか送ってきたりしたので
証拠としておいてます。

今いる部署はやりたかった仕事なので異動などの話もありましたが異動したくありません。
証拠を持って会社にまた言いたいのですが「でもあんたも嫌な顔してなかったじゃん、あれなら勘違いするよ。
好かれて悪い気はしないんじゃないの？」と同期に相談したら言われてしまいました。
最初はやんわり断っていましたが、それが通用する相手じゃないとわかりましたので
拒否しています。
でもそういう風に思われていたのはショックですし、会社との話し合いでそういうこともちらっと
いわれました。
私の家を調べていきなり来た事もあり、引っ越しをして私の引っ越し先を教えない様に言いましたし
一応同じ部署でも直属ではなくなったので、顔はそれほどはあわせなくなったので配慮はしてもらってます。

私が悪いのか？もう異動を願い出た方がいいのか？わからなくなってきました。
すみません。
携帯を見るのが恐怖ですが、仕事用なので見ないわけにもいかず疲れ果ててます。