隣人に観察されてる

分譲マンションに住んでおり、 隣の家族とは家を行き来して仲良くしていました。 しかし最近、隣の奥さん（家族？）に 我が家の出入りを観察されているようで辛くなってきました。 隣の家は部屋が共用廊下に面しているので、 自然と我が家の出入りの音が聞こえるのは分かるのですが・・。 「○時ごろ、○○さん来たんちゃう？」 「昨日、旦那さんと○○ちゃん（娘）出かけてたやろ？」 「あの日、誰が来てたん？」などこちらが忘れている事まで。 一度、「そんなに見てるの？こわーい」と言ってみたのですが、 「ウチの旦那と娘がお宅の事が大好きで、 音が聞こえると見に行って報告してくれるねん♪」と言われました。 以来気にしない様にしていましたが、 こうも言われ続けると嫌になります。 それにその奥さんは噂・詮索好きは元より、 他人のあること無いこと言いふらしているので、 我が家のことも何を言われているのか分かりません。 気にしだしたらきりがないんですが、 このような監視（？）をやめてもらう方法や 気にしない方法ありますか？ かなり気が滅入ってしまっています。よろしくお願いします。