騒音で寝れません

現在マンションの２階に住んでいますが、朝早い時間に騒音で目が覚めてしまいます。
道路をはさんだ向かいの建物がお酒の卸のような事をしている（ぱっとみは工場のような内装です）のですが、酒瓶や缶をガチャガチャとする音やトラックでの搬入の音、また作業員の声が朝の6:00頃から響いてきます。
決して神経質でない妻も同じく寝れないと言っているので、一般的に騒音なのだと思われます。

場所は住宅街といえば住宅街ですが、住宅街の入り口です。なので、他の住民も気になっているかはわかりません（同じ建物の人はなっていると思うのですが）

窓の隙間を隙間テーブで埋めて、防音カーテンを２重重ねにしたり、雨の音のような自然音を少しだけ流しながら（他の部屋には迷惑にならないような小さめの音ですが）などして寝るなどの対策をしましたがまり効果はなく眠れません。

あきらめて引っ越しするしかないのでしょうか？
また、朝6:00頃から音の出る作業をするのは、非常識なのでしょうか？わりと常識内なのでしょうか？
何か良い解決策が無いか悩んでいます。