会うと、必ずどこに行ってたの？と聞く人

同じ住宅に会うと必ず「今日はどちらへ行ってたの？」と聞いてくる人がいます。
こういう人への対処をどうしたらいいのでしょうか。

私は人とお話したりするのが苦手で、プライベートなことは
あまり言いたくないタイプです。

なので、今まで近所の方には「こんにちは」などの挨拶だけで、あとは特にお話したりすることはなかったのですが、とある日、ある方が子どもの年齢が近いということもあり、向こうから話しかけてきて、その日を境に私を見ると、「今日はどちらへ？」と聞かれるようになりました。

「ちょっと公園へ」とか答えても、「どちらの？」とか、私が持っているものをチェックして「買い物？」「習い事？」「どこの？」などさらりと聞いてくるので、どうかわせばいいのか悩んでいます。

先日も「暑いですね～」とさらりと帰ろうとしたら、その方は
いつもなんですが、なかなかその場を動かないんです。。。
人とかかわることが苦手な私にとっては苦痛の何物でもありません。

なんで聞いてくるんでしょうか。

上手にさっとかわし、その場を去る方法をありませんか。

子どももいるので、なかなかサッと去るのも難しいのですが、
アドバイスをよろしくお願い致します。