上司不在の部署

私の職場は直属の上司が別の場所におり、上司とは同じ場所では働いておりません。私と同じ職場には私含め5名の事務職の社員がいます。その内一人がリーダーとして上司からの連携等を受けています。
上司とは一月に1回、多くて2回1時間程度の打ち合わせをする程度でリーダー以外は特に接点もないです。上司自身も私の部署には興味なさそうです。
上司が勤務している場所にも上司の部下として私と同じような事務職の人たちもいます。

そこで皆様にご意見伺いたいのが、上司と一緒に働いてないことで人事評価が公平に受けれていないなと感じています。その評価が昇格にも反映しています。
上司と同じ職場の人はどんどん昇格しますが、私の部署の人は昇格スピードは遅いです。

上司にもちらっと評価について話すと、「もっとアピールしないと評価できない」と言われました。その発言にはイラっとしましたが、現在もこの部署で働いているので対処法を考えるしかありません。

事務職で、特に数字の成果がない業務の場合どのようにアピールすればいいでしようか。
また皆さんは仕事するにあたり上司にアピールしていますか？