団地、マンション住まいのお母さんならどうしますか

はじめまして、このような掲示板での投稿が初めてなため、読みにくい点がありましたら申し訳ありません。 下記のような場合、皆様ならどうされるか教えて頂きたく宜しくお願い致します。 私は子供5歳、1歳の母親のうめです。 毎日幼稚園バスで行きと帰りに顔を合わせる同じマンションのお母さん（以下Aさん）がおります。 子供同士仲が良く、Aさんと私の関係も当たり障りなく良好です。 幼稚園から帰ってきた後、子供達が遊んでいる際、私とAさんは世間話をしておりますが、 そこへマンション内の他のお母さんとそのお子さんが登場し、世間話に参加すると私の知らない話をし始めます。 知らない話とは、Aさんとその他のマンションのお母さん達は上のお子さんが小学生なので、その話だったりもします。 知らない話でも話をわかるように説明してくれたりするので、聞き役に徹したり子供をみていたりします。 前置きが長くなりましたが、知らない話の内容が急に小声になった場合、私はどうしたらいいでしょうか。 その場を、帰りますね～と帰ったら、感じ悪いでしょうか。 （その時私の子供が大人しく帰ってくれるか問題ですが…） 今のところは、聞かれたくないかな？とさりげなく子供たちの面倒を見てるフリをしたりして、少し距離をとります。 ただ、何で私が気を使うのだ？と少し面倒に思ってきてしまいました。 因みに、マンション内の他のお母さん達とはAさんと同じように当たり障りなく仲良くさせて頂いております。 Aさんと他のお母さん達は、子供達を家で遊ばせたり、親しいようです。