この人達は何者？

もう何年も前の話なのですが、今でもすごく気にかかっていることがあるので投稿します。

まだ大学生だった4,5年前頃の話です。
マンションを借りて住んでいたのですが、ある日インターホンが鳴り、
不注意にも何も確認せずあけてしまいました。
外にはスーツをきた暴力団員のような格好の男の人が3,4人いました。
一目みて普通の人ではないと分かる雰囲気です。サングラスをかけている人もいました。
びっくりしましたが「回覧板見ましたか？」といわれ、『は？」と思いましたが
回覧板くると思うので見といてくださいと言い去って行きました。
雰囲気が普通の人じゃないし回覧板なんてまわる地域でもないので怖くて
ドアを締めた後も覗き穴から見たのですが、同じ階の家全軒(おそらく他の階も)まわり、
不在だと覗き穴やポストから家の中を覗こうとしていました。
8階に住んでいてその人達が降りるまで時間があり、ベランダからも確認し、
マンションの下にワゴンで来ていることを確認しました。

その後、何回か同じような人達が来てインターホンを鳴らすことがありましたが、
出ませんでした。毎回何度も鳴らし、ドアもたたき、ポストの穴から覗いたりしてきました。
同じフロアのどの家にも同じことをしてました。
ある時は2,3台のワゴンできて、隣や向いのマンションに何人かずつ分かれて入って行き、
ある時間になったら一斉にワゴンに戻り立ち去る…ということもありました。
マンションは一応オートロックだったのですがどうやって入っていたのかも疑問です。

この人達は一体何者で、何が目的なのでしょうか？
私は借金など一切ありませんし、そのような人に関わった覚えもありません。
一回間違って出てしまった時も怖い事を言われた訳でもありませんし、もしかして
在宅確認が目的なのかなと思いましたがとにかく怖かったです。
未だに何だったのか気になっています。