隣人が怖い。

主人とワンルームに２人暮らしの主婦です。
３日ほど前に隣に引っ越してきた人について相談させてください。
男性で、３０代後半くらいです。
どなたかが引っ越してきていたのは知っていましたが挨拶等無かったので、コンビニからの帰りに偶然家の前で会い会釈をした程度の関係です。

今日家にいたとき、誰かがうちのドアを開けようとしました。
普段から家にいるときも鍵をかけているので、開かなかったのですが。
そのときは間違えたのかな？と思いましたが、その後ドアの前からゴソゴソ音がして・・・
のぞき窓から外を覗いてみると、主人に出してもらおうとドアの横(角部屋なので、お隣さん側ではなく反対の壁側）に置いていたうちのゴミを開けようとしてたんです。
ビックリしたのと同時に、おりもの用品等もあるし気持ち悪くてすぐにドアを開けてゴミを家の中に入れました。
隣人は私がドアを開けた瞬間、顔を隠しながら慌てて自分の部屋に逃げ帰っていきました。
被害妄想かもしれませんが、主人はまだお隣さんと会ったことが無いと言っているので女性の1人暮らしだと思われているのか？とか、一回ドアを開けようとしたのもいるかいないか確認したのか？(自分のとこと間違えたのなら、開けるより先に一回カギを差したりしないですか・・・？）と考えてしまい怖いです。

再来月には引越し予定なのですが、それまで気持ち悪くてしょうがないです。
こちらが気をつけるしか無いのでしょうか・・・
ちなみに、うちは分別が無いマンションなので分別でのゴミチェックでもないだろうし。
下にゴミを捨てたときももしかして見られるのか・・・？と思ってしまいどこまでも疑ってしまいます。
いい対処方法はあるでしょうか？