分かっていて入部したのに…

小学校高学年の息子がスポ少に入っています。息子の学年は、人数が少なく幼稚園で一緒だった学区別のママとは今も付き合いがあり、親がそのスポーツをやらせたい事を知っていたので人数が少ないのもあり声を掛けた事があります。そのお子さんと同じ小学校の子供は息子のチームにはいないのですが入部しました。先日、親の新年会がありチームの殆どが同じ小学校なので自然と学校の話になったら、ママ友が私にだけ聞こえるように『同じ会話が出来ていいね』とボソリ。声は掛けたけれど、同じ会話を望むなら同じ小学校の子供のチームに入ったら良かったのにと思ってしまいました。幼稚園時代から私が分からない会話はしないでなど言われていたのですが、相変わらずなんだと面倒に感じてしまいました。会話まで私が彼女に配慮する必要ありますか？新年会は参加人数多数でした。