騒音トラブル、困ってます

引っ越してきて4カ月、最初周りに挨拶にも行き、周りに迷惑かからないようにと住んでいました。
初日から下から異音がして寝れず、毎日何十回と大きなコツコツという音に悩まされました。
上階からはものすごい足音。
最初はそうでもなかったのに、今ではほとんど家にいる感じなのでしょっちゅううるさいです。
夜中の２時でも平気でドンドン歩きます。
隣は赤ちゃんがいて、間取り的にもうちと窓が近くしょっちゅう泣くのですが、常に窓はオープンで
お母さんの大きな声などや、子守唄からすべて丸聞こえです。
まるで一緒に住んでるみたいな。

隣の事はしょうがないと思っていますが、下と上は無理で管理会社に言いました。
下にも直接聞いたところ「そんな音知らない」と言われました。
管理会社にも直接来てもらいましたが、わからないと言って終わりました。

上の住人には一度注意してもらいましたが、２週間で元に戻り酷くなりました。
再度お願いしたところ「下も静かにしろ」と言っていたらしいです。
因みに前に駐車場で偶然会ったときに、おもいっきり睨まれ目線も外さずに見ていました。
私は一応会釈しましたけど、もの凄く感じ悪かったです。
今も毎日気を使わない音に悩まされています。

入居前に前の住人の退去理由を聞いたところ、個人情報なので教えられないと言われました。
それって個人情報？？と思ったのですが、何度聞いても教えてもらえず。
今はまるでクレーマーみたいになっててものすごく嫌です。

夫は上の事は今度俺が直接言いに行く、もちろん喧嘩するつもりないし冷静に話すよ、
と言っていましたが、住人トラブルみたいになる感じで嫌な気分です。
上の方がうちに喧嘩売ってるようにも感じています。
正直どうしたらいいかわかりません。
どうかアドバイスお願いします。