念願の持ち家購入。しかし隣人のおかげで憂鬱です

念願だった一軒家をたてることができました。
快適な毎日になると希望に満ちていましたが、
早１ヶ月で、憂鬱な毎日になってしまいました。

家自体はとても満足がいくものですが、
向かいに住む家族に悩まされています。
50代くらいの夫婦と30代くらいの男女が3人（？）さらに小さい子供が2人ほど住んでいるようで、家族関係がよくわかりません。

以前家主と思われる人にあいさつしましたが、一言も発せず表情を変えることなく無言。

見た目が少しヤンキーっぽい感じの家族で、
・こちらの家ができた直後に手作りで境界に木の柵を作ってきた
・たまに夜中にマフラーの太い車でアイドリング
・小さい子供が夜の１２時くらいまで奇声とドンドン動き回る音が毎日（窓を閉めても聞こえます）
・こちらのリビング（南側）の境界を通って移動する。向こうのリビング（南側）が通れるにも関わらず
・朝方は犬の鳴き声が止まらない

家を建てる前に何度もその周辺を通って環境をチェックしましたが、住んでみないとわからないものですね・・

下手に苦情を言ったら何をしてくるかわからないと思い・・
今さら引っ越すわけにもいかず、我慢するしかないのですが・・

今は家にいても何となく落ち着かない日々です。
私が気にしすぎでしょうか？

こんな私に気持ちが明るくなれるようなアドバイス もしくは 同じような境遇にいる方のお話、お待ちしています。