知らない人に子供の写真を撮らせてくださいと言われました

はじめまして、ポロンと申します。１歳半の子供の母親です。
子供と散歩中の出来事についてみなさんのお考えをお聞かせいただけますか？
宜しくお願いします。

先日、子供と近所を散歩していたときのことです。
突然「写真を撮ってもいいですか？」と声をかけられました。
ビックリして振り返ると携帯電話を手にした中年の女性の方が立っていらっしゃいました。
「何の写真ですか？」とうかがうと、「お子さんの。とってもかわいいので。」と言われました。
なんとなく不安になり、「ごめんなさい。うちのはちょっと・・・。」と言葉を濁してしまいました。
その女性の方は、「そう？残念。とってもかわいかったから・・・。」と立ち去っていかれました。

私が住んでいる地域は治安も良いほうだと思いますし、その女性の方も怪しそうな方では決してなかったのですが、幼い子供が巻き込まれる犯罪があちこちで起こっている世の中なので、知らない方に子供の写真を撮られることが怖かったのです。

今となっては、お断りしたのはとても失礼だったかなと思うのですが、私は神経質になりすぎでしょうか？