学歴に拘る職場の雰囲気　上司　同僚　

地方の田舎の話です。
ある地方では学歴が良いといわれる（都会のレベルには全く及ばない）高校（Ｆ）を卒業し、社会に出て何年も働いています。
今の職場では、市内にいくつかある高校を卒業した人が集まった職場なので、比較的成績があまり良くないといわれている高校（Ｋ）（Ｓ）を卒業した人は、Ｆの話題になると、ちょっとした世間話をすると、
自慢しているように受け止めます。
なのでなるべくこちらからは高校の話題は出しません。
高校の話題になると、Ｆを目の敵のように話してます。
Ｆを出たのにその程度の職業かとか、噂話をしていて
なぜそこまでこだわるのかと思います。
こちらとしましては、Ｆに対するいじめにも思われるくらいです。
上司や同僚にもし高校の嫌味を言われた時、
なるべく何も言わないようにしていますが、
気分が悪くなることもしばしばです。気にしないようしたのですが、
なぜもっと拘りを捨てないのか不思議です。
高校なんか働きだしたら関係ないのに・・
上手にさらりと当たり障りなく、言い返したいとき
何といえば大人の対応ですか？
どうか教えてください。