人に道を聞かれるのを防ぎたい…

良く人に道を聞かれます。 旅先でも、男女関係なく年齢関係なく外国人からも、序に海外旅行中（ヨーロッパ）にもヨーロッパの人にも聞かれました。 友人数人や夫と二人で行動している時も、何故か声を掛けられるのは私です。 （国内・海外とも写真を撮ってとのお願いも良くされます、その場合は撮ります） 以前、友人に相談したら地図など（ガイドブック含む）を持っていたり音楽聞いていればほとんど聞かれることは無いとのことで、試しました。 でも、地図やガイドブックを持っていても、音楽を聴いていても、道を尋ねられます。 地元で分かる時は知っている情報を提供できるのですが、旅先でもかなり高頻度で聞かれます。 そして答えられなくて、「地元の者ではないので分かりません、ごめんなさい」とお答えしてちょっと落ち込んでしまいます。 （そういう場合、殆どの場合相手の方は無言で立ち去るので、余計に落ち込む…） 以前、旅先で道を尋ねられた時、近くに地図が有ったので「私は地元の者ではないので、あの地図で確認してみて下さい」と伝えたら思いっきり嫌な顔をされたこともあります。（しかも複数回） 有人の交番の前でも思いっきり尋ねられたことがあります。（これも旅先） 地元で訪ねられる事に対しては負担とは思いません。（役立つならと思います） 旅先でも自分が知っていることならお教えします。 どうすれば、他人様から「あの人にはちょっと聞きづらいかな？」と思って貰えるでしょうか？ 夫は、出来る範囲で人の役に立つのだから気にしなければいい、と言われます。（友人も大体同じ感じ） でも、私が対応出来ない事で不愉快な顔・態度をされるのが、ちょっと辛いのです。 なにかいい方法はありませんか？