中古住宅に家神様

中古住宅の購入を検討しています。 戦後10年くらいで、畑から宅地に変えた土地のようです。家は建て替えて約10年目。 先日、内覧に伺った際、土地の一番奥まった所に小さな祠があることにに気がつきました。多分、家神様かなと思いましたが、不動産屋さんは詳しくわからないとのことでした。長い間、周囲は清掃されていないのでしょう。草が生い茂り、きちんと奉られてない印象でした。因みに、売り主さんは、まだ、入居されています。 私の祖母宅にも家神様があるのですが、毎年11月（だったとおもいます）に、お祓いに来ていただいてました。もちろん、周囲はこまめに清掃しておりました。 もし、この物件を購入したら、私はきちんとまつる自信がありません。しかし、そのまま置いておくのも何だか気になります。 お帰りいただくというのが、正しい言い方なのかわかりませんが、この場合、どのような手順をとって撤去するのが良いのでしょうか。