隣人にムカつくと言われました

ここ数年隣人の嫌がらせに悩んでおります。 住宅密集地にしか家を買えなかった私たちも悪いのですが、数年前家を建てまして、その後お隣に建売住宅が何棟か建ちました。 そこの初老の住人Aが最初から図々しい人で留守中に人の駐車場に来客の車を停めたり、（後で近隣の方に聞きまして、貸した覚えないのでびっくりしました）敷地に侵入して自分の荷物を入れていることもしょっちゅう。 いきなりチャイムをならして「家の中見せて」等ここは昔からの集落ではないはず？と思わせる数々の図々しさに辟易していまして、挨拶以外相手が話したがっていても取り合わないようにしておりました。 Aはおしゃべりな人でターゲットをかえては待ち伏せして話しかけています。 フルタイムで働いているのでAのおしゃべりに付き合っていられないのも事実です。 Aは寂しかったのでしょうか？ 私の態度が気に食わないからと逆切れを初めて、すれ違いざまにムカつく、とかいなくなれというようになりました。 最近ではBさんを待ち伏せしています。 話している最中に私を見かけるとわざと無視します。 こちらは挨拶はします。 Bさんは普通に私とも話す仲ですがAは自分のみかたと思っているようです。 小さな子どももいて私のこどもの前で捨て台詞を吐くのでAの言葉が影響を与えないかと思うと怖くて仕方ありません。 ずっと住まなければならないので、あちらの騒音も、越してきた当初の嫌なことも全部黙っていました。 最近ではなぜ我が家ばかりが吐き捨てるような文句を言われなければならないのかと思うと、思い切って乗り込んでぶちまけてやろうか？と思うほど。 主人は同じ土俵にたつな、相手するなと言いますが会うたびに吐き捨てるように言われる一言にどう対処したらわからなくなってきました。 私はどう対処すべきなのでしょうか？