元カレのストーカー行為？

私28彼45です。 彼は既婚者で、一年ほど前から別居しています。去年の終わりくらいから、同棲を始めました。 ですが、隠れてギャンブルをしていたり、離婚成立するのか分からないし、きっぱり縁を切ろうと2ヶ月前に別れました。生活費などは彼持ちですが、私の借りたアパートで、私は今もそこで生活しています。きっぱり別れてくれなかったので携帯も変えました。合鍵を作り、私が仕事の間に部屋に入って来てたようで、鍵も変え、警察にも相談し、見回りにきてもらっています。しかし先日、話を聞いてほしい、と家に来ました。かなり迷いましたが、近くで会って、迷惑だし、もうやり直すことはないし、私の事よりも自分の家庭の責任果たすのが先では?私も一人で生きていって誰にも頼ってないのだから、あなたも頑張って、付き合った彼氏なのに、ストーカー、気持ち悪いと思わせないで、迷惑だからもう来ないでと言いました。親には心配かけられません。こんな事になって。不安ですが、他に得策あれば教えて頂きたいです。もう安心していて良いでしょうか。引っ越す余裕が金銭的にありません。