長くなって申し訳ありません（階下からの苦情）

賃貸マンションの2階に家族（大人2人・子供5歳男児1人）で暮らして6年目。 入居時、真下の方にご挨拶しました、1年程前に、管理会社から「昨日、上から振動を伴う我慢できないほどの音が1回したと苦情がありました。雷が近くで落ちたので、その音じゃないかと聞きましたが間違いなく上の階からだと言っています」と連絡がありました。 振動を伴うような騒音を出した記憶はなかったものの、迷惑がかかっているのならお詫びに行きたい旨を管理会社に伝えたら「個人間でのやり取りは控えてほしいので行かなくて結構です」と言われ、お詫びには行っていません。 その後、音に関しては注意して生活をしています。 先日、昼間に外階段で子供がはしゃいだとき、下の方が出てきて（入居時ご挨拶した御両親ではなくご子息？30代くらいの男性）険しい顔をしていたので「煩くしてすみません」と声をかけたのですが、無言で室内に入り再度出てきました。1時間半程度外遊びをして自宅に戻ったのですが、主人から下の人が私と息子の姿が見えなくなってからも駐車場にずっといて、こちらを見ていたとのこと。 私達親子が上の階の住人なのかを確実に確かめる為に外で待っていたように思います。実際、私がポストに郵便物を取りに行った後はご自宅に入ったので。正直その執念深さに恐怖を感じました。 平日は保育園。土日も極力朝から夕方まで外遊び、雨の日は市の室内施設などに行く、両実家に泊まりに行っています。騒音対策として、防音マットの上にラグを敷き21:00には子供を寝室で寝かしつけています。 21:00前に音が出る可能性がある家事などを終わらせるべく動いています。下の階の方の行動が頭から離れず怖い。(危害を加えてくるのではないか？という恐怖) 心の許容範囲をこえてしまい正常な判断ができない気がします。アドバイスお願い致します。