こんな時どうやって叱ったらよいのでしょうか

５歳の息子と買い物中、エレベーターに乗りました。最初息子は窓から外を見ていたのですが、混んできたときに他の方に押しやられ、窓の外を見られなくなりました。そのとき息子は、口の中でぶつぶつと悪態をつき始めました。
「もーぅ見えなくなっちゃったじゃないかぁ」
「はやくおりねーかなぁ」
最初は耳を疑ったのですが、どうやらその見知らぬ方の背中に対して言っている様子。でも言い方は、独り言のようにぼそぼそと…。
私は顔から火が出そうでしたが、とっさに息子の頭をゲンコツでこっつんして、息子は「いってえ」と言いました。
他の全員が降りた後、私たち家族だけになったので、息子に「およその人にああいうこと言うんじゃないの！失礼でしょ！」と叱りました。息子は私の剣幕に驚いていましたが、素直に「はぁい」と言いました。
息子に悪態をつかれた方は、息子が叱られたことを多分知らないままです。背後でこっつんくらいじゃ分からなかったでしょう。
しかし、その方の前で「およその人に…云々」と息子を叱ったり、その方に対して謝ったりしたら、「息子はあなたに文句を言っていました」とはっきりさせてしまうようで、ためらわれたのです。却って失礼かもしれないと思いました。

こういう場合、皆さんならどのように対応していらっしゃいますか？その場できちんと謝ったほうが良かったのでしょうか？それとも謝ったらやはり失礼にあたるでしょうか。