比較されているようで辛いです

私は40代の主婦で、小学6年生のひとり息子を持つ母親です。
私には２つ上の兄がいて、女の子１人と男の子１人の父親です。
私の兄は、子供の頃から成績がとても良く、一流大学を出て立派な職業に就いています。
兄の娘達もトップクラスの成績で、一流大学を目指して勉強に励んでいます。
私は、兄とは違い子供の頃から成績もあまり良くなく、子供の頃から両親に比べられて育ちました。
いつも話題の中心は兄で、子供の頃から劣等感と寂しさを感じていました。
それでも兄とは仲が良く、兄の家族とも関係は良好だと思います。
私は、実家からは車で2時間程離れているところに住んでいるので頻繁には帰れませんが、たまに日帰りで両親に会いに行くのですが、
先日、実家に行ったときに、私の息子の成績の話題になり、私の息子は成績は普通ですが、最近すごく頑張っていて、算数のテストでクラスで数人しか取れなかった100点が取れたことを父親に話しました。
自慢したつもりはなく、頑張っているね。と一言でいいから共感してもらいたかったからです。
ですが、父親は息子のことはほめず、兄の娘の成績のことを話し始めました。
その時に、お父さんの孫とは思えない程できが良く、学年で2番だと言われました。
その時は、頑張っていて凄いね。とこたえましたが、時間が経つにつれて凄くモヤモヤした気持ちになり、自分の子供の頃感じていた気持ちもフラッシュバックしてしまい辛くなってしまいました。
父親は悪気なく発言したのかも知れませんが、私の息子の成績の話題のすぐ後に言われたこともあり、私は比べられた様な気持ちになってしまいました。
私の息子も、偏差値の高い高校に行かないとおじいちゃんに比べられそう。とプレッシャーを感じている様子です。
父親に、比較されているみたいで辛いのでそういう話はしないで欲しい。と伝えても良いのか皆様のご意見をお聞かせください。