親族の陰口・・どうすれば良かった？

３０代後半、地方在住の兼業主婦です。 主人が次男で一軒屋に二人暮らし、町内に義母と義兄一家、義父の兄弟、義祖父の兄弟など多くの親族が暮らしています。 結婚１０年目で親族以外の近所の方とも田舎の付き合いから顔なじみになれましたが、普段は留守がちで子どももなく、また広い町内なのでお互い分からない方もたくさん居られます。 そんななか粗大ゴミの指導当番がまわってきて出席すると、同じ当番の見知らぬおばさま３人が仲良さそうに話されていたんですが、ほとんどがうわさ話でゴミを捨てにきた方が帰るとその人の話、ひどくなると最近授かり婚した方のお母様をつかまえて根掘り葉掘り内容を聞き帰られると盛り上がりって感じだったので、私は少し離れたところで違う当番の方と作業していました。 するとそのうち私の親族（義祖父の従兄弟一家）の名前が出て有ること無いこと話し出したんですが、名乗り出て止めて町内で揉め事を起こすのもイヤだし、素性が知られてないならとスルーしていたんです。 なのに、当番も終盤に義兄がゴミを捨てに来て私に話掛けたので、そこで素性が分かってしまい、義兄の前では『いやぁ○○くんの奥さんやったん。私△△。○○君は昔から知ってるんよ』などと言ってたのが、帰った途端に冷たく『一言言うてくれたら良かったのに』と言って３人で離れていき『黙って聞いてたのは一緒に言ってたのと同じ』などとこそこそ話してました。 帰りには『○○君によろしく』と言われ私も笑顔で挨拶しましたが、後で何を言われてるか、帰宅後名簿を見ると３人は私も顔なじみの役員さんの奥様方みたいだから、親族にも私の『無いこと無いこと』吹き込まれたりしそうだしどっと落ち込んでしまいました。 皆様ならその場でどうされますか？ またこれからどうしたらいいと思われますか？