御近所との関係で悩んでいます

初めての投稿で不慣れですが、宜しくお願いします。 関東の地方都市在住40代夫婦、現在3才の活発な男児双子を育児中です。私は(妻です)現在は専業主婦です。 現在の住まいには、子供達が1才半の時に家を建て、越してきました。新規分譲地ではなく、夫が通勤で電車を使う為、駅に近い土地を探して、駅から徒歩5分で隣合って２区画空いていた土地をそのまま購入しました。 我が家に接している隣家は南側に2軒、北側に1軒で、50代60代のご夫婦ご家族です。皆子育ては終わっていてお子さんは成人されています。(それぞれお子さんもお住まいです) 引越してから判ったのですが、南側の1軒のご主人と北側のご夫婦と息子さんは夜勤で、昼間寝られています。 その為か、我が家の双子が家で少しでも話すとうるさいと怒鳴られるようになってしまいました。最初に気付いた時に、窓を閉めてエアコンで過ごす、接している窓に防音パネルをはめ、防音のマットを1階に敷き詰めましたが、北側のお宅から怒鳴られるのは止む事無く、そのうち南側のお宅からも言われる様になりました。 1度、意を決して、北側のお宅にご家族全員ご在宅の時を見計らい、『いつも煩くて申し訳ありません。何かお気付きでしたら、なるべく改善したいと思いますので、おっしゃって下さい』と謝り、話に行きました。奥様が出てこられ、最初表情は硬かったのですが、伝えると笑顔になられ、「うるさく聞こえたことはない。本当に双子ちゃんが生活してるのかって家族で不思議に思うくらいだ。せっかく家を建てられたのに、子供に静かにしなさいなんて可愛そうよ。のびのび育てて」と言われました。30分程、その様な内容でお話をされ、帰宅して直ぐに私と子供達でお風呂に入るとやはり怒鳴られるという結果でした。しかも行った事でより悪化し、露骨になりました。 何をどうすれば良いのか判りません。御意見を頂きたいです。