これは私が悪かったのでしょうか…

ホットスナックをテイクアウトした時の話です。 私は家族と出掛けに来ていて 私と弟が近くのホットスナックをテイクアウトをしようと話していました。 親にその店の駐車場に止めてもらい 2人でテイクアウトをしに行きました。 注文をしようとレジに並んでいる途中 恥ずかしながら自分はトイレに行きたくなり 弟に2人分の代金を渡し頼むようにお願いして その場を一旦去りました。 トイレから帰ってくる際、既に弟は注文し終わっておりその場で商品を受け取る手前の状態でした。 「お待たせ～」と弟に駆け寄って商品を受け取る時です。 後ろに並んでいた大柄の男性（赤ちゃんを連れていました）に 「おい、割り込みしてんじゃねぇよ。並んでんだよ。」とドスの効いた声でガンを飛ばされてしまいました。 私はその声にびっくりしながらでしたが 簡単に事の説明と弟に会計をお願いをしていたのを説明しました。 弟も反論ではないですが一緒に説明をしてくれました。 一瞬うっと気まずそうにしましたが続けて 「うるせぇんだよ。割り込みは割り込みだ。」と言われる始末… これは割り込みになってしまうのでしょうか… 子連れとはいえ大柄の男性にガンを飛ばされてしまって怖い思いをしました…。 どうすれば良かったのか 良かったら教えて頂きたいです。