内部見学会、行ってないのに

長文ですのでお時間のある方、よろしくお願いします。

昨年暮れ、近所の方が家を新築されました。そのお宅は挨拶をしても無視、
うちとはあまりいい関係ではありませんが、特に実害がある訳でもなかった
ので気にせず生活しておりました。

その新築の家が完成時に内部見学会をされ、うちのポストにも
是非お越し下さい のような業者のチラシが入ってました。
ですが普段からよい関係ではないし、行くつもりなどありませんでした。
期間中、訪れる人もあまりいなかったようで営業の方が暇そうに座っており、私が庭に出た時など、 内見いかがですか？ などと声を掛けられましたが、
お断りしてました。

数日後、そこの奥さまが様子を見に来られ時に営業の方に、
どなたか来られましたか？ のような事を聞いた時、
なんとその営業はうちが見に来たと言っていたのです。私は丁度塀で見えない所にいたので、聞かれたとは思ってなかったようです。
あまりに人が来ないので適当に答えたのだとは思いますが、
なぜわざわざうち?!
普段から関係が良くない人のお宅をまるでこっそり見に行ったように
思われたようで、かなりモヤモヤしました。
けれどどうすることも出来ず、その内忘れていました。

なのに何故こんなトピックを立てたかというと、最近、偶然そこのご夫婦が、
そういえばここの人(うちの事)見に来たんだよねえ。 と話しているのを
聞いてしまい、モヤモヤが再燃してしまったのです。

今さらどうにも出来ないとは思いますが、皆様ならどうされますか？
又は、このモヤモヤを晴らす方法をご教示下さい。