手が出るお友達について

皆さまのお知恵を貸して下さい。
現在、２歳になる男の子を育てています。
家庭保育で育てているので、公園や児童館、支援センターなどで遊んでいます。
小さい頃から、そういった場所で遊ぶことが多かったため、人が好きな性格です。

一年ほど前から、公園で４歳と２歳の男の子のママさん知り合いよく一緒に遊んでいます。
息子はお友達と遊びたがるので、良い刺激になっていたのですが、４歳のお兄ちゃんが息子に対して手をだしたり、
「あっちへいけ、きらい」や私に対して「〇〇のママ嫌い、あっちいけ」と言うようになってきました。
お兄ちゃんの滑舌が悪いので息子はそんな言葉を言われているとは気づいていません。
お兄ちゃんの行動は息子を攻撃したいというより、私に対して、僕がこんな悪いことをしても嫌いにならない？という感じの試し行動のような印象もあります。怪我になるような危ない行為は無く、加減はしています（弟くんにはもっとなので）。
私が注意する事はママ友さんは嫌がらないので、諭すように注意しています。ママ友さんも注意します。
ママ友さんは頑張っていますが、夫婦不和の影響でお兄ちゃんには愛情不足なところがあり、その影響もあるのかな？と思います。

今までは、息子が悪い部分(おもちゃをぶつけたり)もあったのですが、今日は理由がなく息子に３回手を出してきました。
私はもちろん息子が一番です。手を出されたら、かばいますし、距離を取ろうとしますが気が付くと、という感じです。息子が寄っていく部分もあります。
息子は、４月から幼稚園のプレに通うので、幼稚園ではもっといろいろあるのかな？とも思い、これぐらいは乗り越えて成長していくものと捉えるか、一緒に遊ばせないよう避けるべきか悩んでいます。親子を避けるとなると一番利用しやすい公園にいけなくなるのは中々不便でもあります。
皆さんの体験談など教えてください。