そういうケースだと、相手の人がトピ主さんに言いたいけど言えない苦情を抱えている場合があります。

たとえばゴミ出しルールをまもっていない人がご近所にいるとか、騒音を出す家庭があるとかで、その犯人がトピ主宅ではないかと疑っているような場合や自分が犯人だと疑われているのではと疑心暗鬼になっている場合です。

「犯人はあなではないか？」「私を犯人だと言いふらしたのはあなたですか？」と確かめて文句を言いたいけれど、証拠もなしに決めつけるのはさすがにダメだと理解できるので、どうしようか躊躇している間に、トピ主さんが「寒いですねー」と論点をズラしてきたので、確かめるタイミングを失ってその場を去るみたいな。

話しかけたときの様子に違和感を感じたときは、表面的には丁寧に接しつつ、相手への危機管理を怠らないことをおすすめします。
おそらく相手は、なにかしらトピ主さんに言いたいことがあったのかもしれません。