お隣の老人入居者施設の騒音に困っています

お隣の老人入居者施設の騒音に毎日悩まされています。 我が家は一軒家で、お隣の施設までは軽自動車１台分もスペースがありません。 施設の中の騒ぎ声は我慢できるのですが、外に出て職員の方や入居者関係者の方々が立ち話をする声が、飲食店の隣の席で話されているレベルでダイレクトに家の中に響いてきます。 年配の方が多いためか話し声も大きく、我が家の庭に立てている壁に寄りかかって長時間歓談されている姿もよく見ます。 うちには幼い子供がいるのですが、急に大声が聞こえるとびっくりして泣き出したり、お昼寝をしていても起きてしまうので、泣くのをなだめたり、また寝かしつけるのに苦労する日々が続いてストレスが溜まっています。 見かねた主人が、外の通路で大声で立ち話をするのはやめて頂きたいとお願いの電話をしたのですが、電話に出た女性の方は、ああそうですかというような反応だったそうで、それからも全く改善しません。 うちの庭の壁にもたれてワイワイされるのは、不愉快ではありますが目くじらを立てるのもなと見過ごしていましたが、最近壁にテープを貼って支柱を固定しプランターで植物を育てているのを発見し、さすがに腹が立っています。 うるさいのは日中だけで、夜になると人の出入りがなくなり静かになります。 日中主人は仕事でいないため、休日の日中家にいる時に「確かに大声でうるさいけど夜は静かだし」と楽観的です。 グループで運営されている施設なので、本社にお願いのメールを送ってみたのですが、返答もなく改善されません。 やはり主人にお隣の責任者の方に直接相談に行ってもらうしか方法はないでしょうか。お隣なのであまりもめごとは起こしたくないなぁと主人は乗り気ではないので、他に考えられる対処法があれば教えて頂きたいです。