モヤモヤがおさまりません。。。

朝の新幹線チケット売り場での事です。
旅行会社のミスで日付変更しようと列に並び、やっと順番が回ってきて手続きしていた所、後ろから『遅い！』『なんでこんな遅い！』『遅すぎ！』と女の人の声が。売り場のガラスの反射で私の後ろを見たら、いかにもギャル（死語？）って感じの、ハタチくらいの女の人二人がいました。私の用事は日付の変更だけなので、一分もかからず、決して時間がかかりすぎてる訳ではないので気にしないでおこうとしたのですが、絶え間なく『遅い！』が聞こえてきて、乗車時間が迫ってきてイライラしてきたのもあり、振り返って『でも待ってないと仕方ないですよね？』と言ってしまいました。。。（あくまで普通の口調です）
彼女達は『は？何言ってんの？』と言ってましたが、丁度手続きが終わり、私はチケットを受け取って立ち去りました。
今、少し落ち着いて、聞き流せばいいのに言葉にだしてしまった事に反省してる反面、どう言ったらもっと効果的だったのかなんて考えてます。。。
皆さんは私の状況の場合どうしますか？また、もし何か言葉を発するなら何と言いますか？

ちなみに普段はそういった状況でも黙ってるタイプです。今回の件は自分でも少し驚いています。。。