なんで電話の話し声だけ気になるんだろう

電車内の携帯電話での通話禁止、レストランでは外に出て話す、私も自然にそうしてますが、なぜなんでしょうね。
連れと一緒に乗れば車内でおしゃべりするし、レストランだってそうです。
なのに、なんで電話相手に話すのだけが迷惑とされるのでしょう。

一部、声を張り上げる柄の悪そうな人もいますが、たいていは電話で話してても普通の声ですし、たまたま受信した場合など、今電車だからこちらからかけなおすね、などと周りを気にして口元に手を添えて小声で話してます。それでも、周りからはマナー知らずだなあみたいな冷たい視線。
そのくらいの声なら別に話し続けでもかまわないと思います。隣のサラリーマン同士の声の方がはるかにはっきり聞こえます。

ただ、隣に座ってる連れ同士の会話はほとんどスルーできるのですが、なぜか電話に向かって話してる人の会話は聞き耳立ててるがごとく、なんとなく注意がいってしまう気がします。
会社の休憩所など、携帯電話が禁止されていない場所でも、そこで会話してる同僚の話とか聞こえててもスルーなのに、電話の会話はなんとなく聞いてしまいます。私自身、聞かれるのが嫌で人がいる時は休憩所ではなく、もっと遠くに行きます。

そのことと、車内や店内での通話禁止と関係あるのかな？
なんでおしゃべりはOKなのに通話はダメなのか。どちらも大声は禁止というだけでいいのに。
当たり前のようにしてるけど、ふと不思議に思ったので、誰か納得いく説明をご存知の方は教えてください。