自分の家にいることが苦痛。

初めてですのでよろしくお願いします。

７年前に家を買いました。子供がいるのはうちを含めて３軒です。
その２軒(ＡとＢ)とその子供のボール遊びが原因のトラブルになりました。何度も注意をしやめてくれたかと思いきやＡＢはうちの車があるときはボールはダメと言ったのか子供から「早く出かけたらいいのに」と言いエンジンをかけると「やった！でかけるで」と言われました。こんな人たちと仲良くする必要ない・・と思ってたはずなのに。
この間たまたま家をでたらＡがお土産らしきものを持ってＢの家の前にいました(ＡとＢは隣同士、Ｂは我が家の向かいです)私を見ると慌てて挨拶をし手に持ってたものを隠し自分の家へ戻っていきました。嫌な感じだなーと思ってたら何時間か後にＡの子供がお土産を持ってきました。なんかたまらない気分でした。それ以来、外にでるときは誰も居ないか確認してしまいます。ＡＢの態度や挨拶の仕方で「私が我慢すれば良かった」と自分を責め「いや、言って良かった」と納得するの繰り返しで友達や主人に「きなこはブレすぎ。」と言われます。

どうしたら気にせず堂々といれるでしょうか？
教えてください。