上司の評価がからい

こんにちは。閲覧いただき、ありがとうございます。

上司のことなのですが、いい人なのですが、部下の評価が減点主義というか、妙に辛いです。
始めは自分の評価が低いんだ、もっと頑張らなきゃ…と思っていましたが、どうも部下全員に辛いようです。
昨年度の評定が平均点未満だったので凹んでいたところ、上司と仲の良い先輩がこっそり教えてくれたのですが、私の評価は、メンバーの中では上から2番目なんだそうで…。
それで平均未満なのだから、他のメンバーには、さらに低い点をつけているものと思われます。

点の付け方が厳しいのは好みというか、性格のようなものだから、どうこう言うことでもないのですが、部下の評定で発揮するのはやめてほしいです。なぜなら、部下の人事評価が低くなって、お給料が上がらない気がするからです…。生活に関わるのです。
他の上司を持っている同僚たちは、問題ない働きをしていれば、普通に平均以上の評定を貰っています。これは不利だよなぁと…。
職種の関係で、今後他の上司に変わるということは無いと思います。

こういう場合、改善を望むことはできるのでしょうか。それとも、転職も視野に入れるべきでしょうか。（昇格しない場合、お給料は殆ど上がらないシステムです）
ちなみに360度評価では、「上司は部下を正当に評価している」の項目に、そっとNOをつけています。