マイホーム購入・・・詮索好きで噂話し好きのご近所さん

トピを開いて下さりありがとうございます。

アラフィフでバツイチの♀です。
中古住宅の購入を検討しております。
このほど気に入った物件に出会えて、話を煮詰めている段階です。
今日リフォームの下見のため現地を訪れた際、二軒隣の方（70代後半、♀、独居、Ａさん）とお会いしたので、ご挨拶をしました。すると、家族構成や職業、家の間取り、リフォームの内容など・・・いろいろ聞いてくるのです。（適当に答えていました）Ａさんは、物件の以前の持ち主さんのこと（悪口です）隣人の家族構成やら、間取りやら延々と話されていました。うんざりしました。
私は一人暮らしですが、彼がいます。私の部屋で過ごすことが多く、合鍵も渡してあります。今後も同じスタイルでいきたいのですが、Ａさんのことを考えると気が重くなってきました。噂好きのＡさんからみれば、バツイチで男が訪ねてくるなんて、好材料だと思います。興味深々で顔を会わせる度に詮索されるだろうし、根も葉もない噂を流される可能性もあると思います。
仕事柄、彼も私も日昼に会うことが多いです。

気に入った物件ですが、Ａさんのことを考えると契約を躊躇してしまいます。
皆さんならどうなさいますか？