転職したから同期より歳上。言う？言わない？

都内で公務員をしている女性です。 大学卒業後、金融機関に一般職として勤務後、公務員試験を受け直して自治体職員になりました。 仕事をしながら受験したので、職歴に空白はありませんが、前職で５年間勤務していたので、現在の同期よりは５歳年上です。 同期には、少数派ではありますが私のような転職組、大学院卒の人やワーホリ帰りの人などいるので、年齢がみんな一緒！というわけではありません。 ただ、5歳上となると同期の中では最年長くらいの年齢ですので、流石に容姿も「同い年ではない」とはっきりわかると思います。 職場で、採用年次や同期職員の話になることが時折あるのですが、その際、はっきり「前職ありですか？」と聞いてくれれれば「そうなんです、前職で５年間勤務してまして」と答えているのですが、 時折、「◯さんと同期なんだ、へ〜…？」と、なにか言いたげな顔でじろじろとこちらを見てくる人がいます（男女問わず）。 若く見られたいわけではないですし、若く見える容姿でもないので、そんなときは 「私前職があるので、◯さんと同期ですが歳は上なんですよ」と自分から言ってきたのですが、 そもそも何も言われてないのにイチイチ言う必要あるのか…と最近思いはじめてしまいました。 というのも、不躾にじろじろと見てくる人に限って「転職組だ」と聞くと「前はどこに勤めてたのか」と、企業名まで必ず聞き出そうとしてきて、とても面倒なのです…。 前職の金融機関は名前はみんなが知っていますが、一般職は給与が安く（実家暮らし又は結婚してサブ的に働く前提）、将来を考えて自立のために転職したのですが、 大抵の人は「辞めちゃってもったいない！」と言うし、その説明も面倒で… この先異動が重なれば、誰と同期だとか採用年次とか関係なくなるとは思いますが… このような場合、みなさんどうされてますか？ ご意見伺えればと思います。