HSPで子育てがつらい

昨今のHSPのもてはやされ具合(しょうがない、優しくされるべき！みたいな)には若干の嫌悪感がありますが、分かりやすくHSP前提で書かせてください。

私自身(3歳0歳の母親)が、いわゆるHSPだと思います。
人の感情に敏感で不安になりやすい、他人が気にならない細かい事(音、匂い、光、他人の持ち物や服装、書類の間違い等)に良くも悪くも気がつくといった感じです。
子育てしていて特に辛いのが音です。元々、音の大小に関わらず雑音や衝撃音が苦手で、幹線道路や電車内での会話や思考が苦手です。電子レンジや引出しを閉める音も苦手で、1人の時は開けっぱなしにしています。(夫に怒られる笑)
ところが、子育ては雑音の連続…
泣き声、奇声、おもちゃを落とす音(1番苦手)、ブロックをガチャガチャ…
さらに家族はテレビをつけたまま会話をします。テレビの声、家族の会話、洗濯機の音、自分がする料理の音、換気扇の音が混ざるタイミングはとてもストレスフルです。(耳栓は危険察知が出来ず不安になるので着けられません)
あまり辛い時は、テレビを消してもらったり、逆にテレビの音を大きくしてもらったりします。全ての音を拾おうと神経を張り巡らせてしまうので、ひとつの音が明瞭に聞こえると他の音を捨てられて少し楽だからです。
ですが、子どもにはのびのび育って欲しいし、家族に協力を強いることはなるべくしたくありません。でも神経が疲れてイライラしてしまい、子どもに悪影響です。自己嫌悪です。
もうどうしたらいいんでしょう…
5人に1人いると言われるHSPの方どうしてますか？

子どもは堪らなくかわいいです。
夫は優しいし、理解しようとはしてくれますが、夫自身はおおらかで何も気にならないタイプ、且つ凄まじい集中力の持ち主(テレビを流し見しながら仕事のデータを読み込める)で、私の神経質さに呆れている節もあります。