賃貸物件の内見、一番肝心な時間帯は見せてもらえない？

分譲を買って住むこと５年。
下見では分からなかった騒音や住民のマナー。
入居後トラブルだらけで、できる対処はすべてやりつくし、グッタリ、ヘトヘトです。
もうなす術がないので金銭的、気力的にものすごく痛いですが、退去します。

今度こそより失敗の少ない部屋にたどり着きたく、事前にいろいろ確認してから入りたいので、例えば朝早くと夜遅くの周囲からの音やお住まいの方々の様子など一番知りたい時間帯に、不動産屋が営業時間外ということで「内見は不可です」と言われました。

どこもこれが普通なのでしょうか。
丁度よさそうな部屋を見つけたのですが、建物の外の環境は自分で行って確認できますが、当たり前ですがセキュリティの関係で部屋はおろか、勝手に建物内にさえ入れないので、いったいどうしたものかと決めかねています。

とくに睡眠に影響しそうな時間帯の騒音など確認したい皆さん、どうされていらっしゃるのでしょうか？
細かいことが分からなくても、不動産屋さんが可能だという遅めの午前中～夕方ぐらいまでを見てイチかバチで入居を決めるしかないのでしょうか。
個人情報の点から、接している部屋にお住まいの方がどんな方かも聞くことができないですし。