タクシーでゾッとしたこと。

仕事柄、夜遅くなるとタクシーで帰ることがあるのですが、 先日乗ったタクシーで、運転手からこう聞かれました。 「もしかして、この間○○まで行った方？」 ピンポンだったので思わず「はい。」と答えてしまったのですが その後のちょっとした会話でゾッとして、 答えてしまったことを大後悔しています。 そのタクシーはいつも近辺を巡回しており、 私の職場の他の人も乗せているらしいことが判明したのですが、 思わず「はい。」と答えてしまった行き先は 会社の人にも今は知られたくない所（医療関係）だったのです。 「顔は見えないけど、職業柄、声で覚えているんですよ。」と言われました。 この運転手がこんなふうに他の人にも気軽に話していたら、 もし私の帰宅場所なども言ってしまえば 会社の人に知れてしまう可能性もあります。 職場のことを差し引いても、 突然そのような質問をしてくるって 今考えるとちょっと気持ち悪いですし、 実際、家に着いてからもかなり動揺し、不快でした。 気づいたとしても仕事なのですから言わないで欲しいです。 私が気にしすぎなのでしょうか？ 領収書をもらっているので、その会社のタクシーには 今後乗りたくないですし、クレームも付けたいところです。 このようなことがクレームとして成り立つでしょうか？ どのような言い方が効果的でしょう？ 似たような経験のある方にお伺いできればと思います。