私のせいで…

こんにちは。トピを見て下さりありがとうございます。 私は40歳のパート主婦で３年生の息子がいます。 近所の４年生と２年生の兄妹が うちに遊びに来るのですが少し乱暴なところがあり 時々 息子はちょっかいを出されることもあります。 この間 うちの庭で遊んでいたのですが ４年生の兄が 花壇の中に入って 土をいじりだしました。たまたま家の中から見ていたので 窓を開けて聞こえるように大きな声で『そこは入らないで！！』と言いました。 すると 逃げるように妹といなくなりました。息子は しょんぼりした様子で、私は 悪いことをしたと反省しましたが 後のまつりです…。息子は 大丈夫 気にしないでと言ってますが 私のせいでいじめられたりしないか心配です。 考えすぎでしょうか？ よろしくお願いします。