日本で外国人に声をかけられたときの失礼でない対処

はじめまして。30代半ばで独身・美術関係の仕事です。

街中で知らない外国人に声をかけられることが多いのですが、
「失礼でないお断りの態度」を教えてください。

歩いていると、「ねぇちょっと」と、声をかけられ、
時間ある？お茶飲まない？君と話したいんだ…
などと言いながら追跡されてきます。
いつもかなりの早足で無視して歩き去るのですが、
なんとなく無視することが「申し訳ないなぁ」と思ってしまい
曖昧に微笑んでいると思います。
でも「曖昧な微笑み」が良くない！という話も聞いたことがあります。

落ち着いて座っている時などに声をかけられた時には、
「いま時間が無い」「彼が嫉妬深いのでお茶もダメ」等と断り、
じゃあ仕方ないね、会えて嬉しかったよ、と円満バイバイなので、
失礼になってはいない気がします。

でも、道端で声をかけられて、
ガン無視、というのが、なんだか申し訳なく…

変な例えですが、うちの弟が外国で、女性に声をかけたとき、
まったく無表情にガン無視で歩き去られたら可愛そうだなぁ、
せめて「ゴメン、でもダメよ」の視線でもあったらなぁと思ってしまうのです。別にうちの弟が海外在住なわけでも女性に声をかけて歩いているわけでもありませんが！

こういう場合、別に申し訳なく思う必要はないのでしょうか
今までどおりガン無視でいいのでしょうか。
こうしたら？あるいは、これはダメだよ！という案や例があったら教えていただけますか。

私は背が平均よりかなり高く、パーツのすべてが大きいので、日本では目立つのだと思いますが、スタイルが良いわけでもなく、ましてやまったく美人ではありません。