「おばさんだから～」発言ってどうですか？

自分のことを「私はおばさんだから～」の発言・・・年下のみなさんは困るものですか？

38歳・女性のとらと申します。職場は20代後半～30代前半ばかり、とびぬけて年上です。ただ、実年齢より若く見えるらしく、30前後だと思われていたようです（自慢ではなく逆に若いころは10歳以上上にみられたこともあるのでそういう顔なのでしょう）。
実年齢がわかってから、同じチームの仲の良い若い同僚からはよく年齢のことをネタにされていました。これまで気にもとめずに笑って流していたのですが、この春に人事異動でとても綺麗な32歳の女性が入ってきました。異動そうそう彼女は「私はもう歳だから」発言をしていたのですが、そこに例の若い同僚が「大丈夫だよ、このひと（私）なんてもっともっと年取ってるんだから！」と私の歳を言いました。
これまで男性ばかりの職場ではそれだけで笑い話になっていたのですが、その瞬間彼女の顔から笑顔が消え無言となり、あっという間に気まずい雰囲気に・・・・
彼女が「歳だから」と言ったのは、私が同じ年齢の時を思い出すと当然。私はすでにその歳を超えてしまったのでもはや口にもしませんでしたが、この時の凍りついた空気がなんとも悲しくて・・・・
これまでは歳なのもバレているし開き直って同僚たちと仲良くやっていましたが、あの時の凍りついた美しい彼女を思い出すとなんだかみっともなく・・
これからは率先して「私、おばさんだから」と発言し、同僚との飲み会も控えたほうがいいのかなあと考えています。
ただ、「おばさんだから」の発言はイタい、との意見もチラホラ聞くので、年下の皆さんの意見が聞きたいと思いました。「おばさん」発言と、気にせず輪に入ってくるのとどっちが痛いですか？