大家さんが怖いです

今住んでいるアパートには約1年前に引っ越して来ました。ある時バイトから帰ってくると大家さんの家の窓から男性の方（大家さん）が私が部屋に入るまでずっと見てるのに気がつきました。そこからは割と頻繁に起こるようになり、私の玄関の目の前のドアを開けてまで見ていることもありました。1度不動産会社に相談をし、たぶん注意はしていると思います。
最近まで落ち着いていたと思っていたのですが、先日ゴミを捨てに行くと大家さんが私の後ろまで来ていて、声はかけずずっと後ろを着いてきました。私は怖かったので、顔を合わせず2階にある自分の部屋へ戻りましたが、しばらくの間家の前にいる足音がして、2階までわざわざ階段を登ったりしていたようでした。
声を掛けられることはなく、ずっと見られるだけです。しかし、部屋に入るまでずっと見られています。どうしたらいいでしょうか。