職場を辞めた方が良いでしょうか。（パワ・セクハラ）

はじめまして。
どうぞよろしくお願いいたします。

現会社に勤めて丸三年ほど経つシングルマザーです。

昨年夏くらいから上役の目に留まり、
休日の食事の誘いを受けるようになりました。

きっぱりとお断りしていますが
断ると一週間ほど無視され、ほとぼりが冷めると
話しかけてきて、また繰り返す。というのを
続けておりました。

一年くらいしたら諦めるよ、との助言を年配の
男性からいただき、それをよすがに
在籍しておりますが、今年に入ってからは
一切無視されるようになりました。

小さい会社ですが正社員で給料の遅延なども
なく、他の人間関係はいたって良好です。

男性から見て、私はやはり辞めた方が
仕事の障りがないのでしょうか。

他の男性からのアドバイス頂けたらと思い投稿致します。
ぜひともよろしくお願いいたします。