ご近所トラブル

ご相談させて下さい。私は、40代夫と夫の母親と同居しております。
夫の母が住んでいた家を建て替え一年が経ちますが、建て替え中より隣人がうちの
工事を監視し文句ばかりの日々でした。
うちの家では、工事前も後も挨拶も済ませ、工事中もちょくちょく顔を出し
隣人以外の方とは、普通に接してきました。いざ入居してみると、こっちから
挨拶してもそこのおうちの旦那さんは無視で挨拶もかえしません。
それは、その人の勝手で挨拶返したくないんやなーと思ってますが、
うちの母親いわく、家から出るときいつも頭の中で、
あーまた隣人が庭に出てないかなーと頭をよぎるそうです。
家から出たくないわと笑ってました
うちの玄関の横が隣人の庭であけてもくれても旦那さんだけ出てることが多いのです。
確かにわたしも仕事帰りやお買い物から帰ってくるとき
一瞬あーまた庭におるんかなーと。。思うときがあります。。
わたしは、結構わりきっているから大丈夫ですが、
母親がストレスがたまり体調くずさないかとしんぱいしております。。
ちなみに他の近所のかたとは、仲良くしてますが、
隣人とそんな関係なのでこっそりうちの家に遊びに来ています。
こんな近所関係にアドバイスをお願いします。