曖昧にすると、何度も誘われると思います。

せっかくですが、貴女様とはお茶を楽しむ仲とは思えません。悪しからず、ご了承下さい。貴女様のご健勝をお祈りします。さようなら。

とでも、私なら返信します。

家が近いからって押しかけてくるわけじゃありませんよね。
私なら既読無視をしますけど
穏便にお断りしたいのなら自分に時間がないとか
体調に波があってとか
適当な理由をつけて断ればいいんじゃないですか？
穏便になるかどうかは相手次第ですけど。

嫌いな人からのお誘いは普通に断りますよね？
それでも同僚や子供の関係で距離取りづらい間柄ならなんとなく最低限は付き合うけど、以前の同僚なら仕事で付き合う必要がある人でもないし。

私ならどう返事するかなと考えてみました。

「お久しぶりぶりですね。お元気ですか？
お誘いありがとうございます。
ただ、申し訳ないですが、プライベートは人付き合いをこれ以上増やさないと決めてるので…◯◯さんとのお茶の時間は取ることが難しいです。
これから寒くなりますがお体お大事に」

こんな感じかな。
「コロナ禍だから」など理由をつけるとまたさそわれるので、付き合うつもりがないことは伝えたほうがいいと思います。