＞電話・窓口がお客様に関わる義務ですので、第一優先です

普通の事務所ではそうですが、上司も他の同僚も、その意識は低いのでは？。そうでなければ、我先に電話を取ったり、窓口対応するはずです。

＞自分がいつも出る回数が多く、デスクワークが定時内でまわらず、残業する毎日
＞ですが、上司は自分の残業はしょっちゅう注意してくる

それなら、もっと電話・窓口の対応回数を減らし、残業時間も減らせば良いのです。

上司も残業だけに着目していて、対応回数は無視しているので、上司の考えは「残業時間を減らす＞お客様を待たせる」と考え、それに応じた対策をすべきです。

ただ、単純に回数を減らしただけなら、謂われのない文句が来ることもあります。

なので、この１～２週間は従来通りの対応・残業を行い、できる限り、毎日の１回毎の対応時間全部と残業時間を記録し、対応時間の行を数えたら対応回数もわかるようにしておく。

その後は電話・窓口の対応回数を半分程度に減らし、半分の回数をこなしたら後は一切対応せず、自分の業務に専念する。（その時も、できる限り、毎日、１回毎の対応時間全部と残業時間を記録しておく）

トピ主さんが対応回数を減らせば、他の人が対応せざるを得ません。それでお客様を待たせても「上司の意向（残業時間を減らす＞お客様を待たせる）」に沿っている。と考えて、予定回数以上は対応しない。

それで、誰かが文句を言ってくれば、記録を全部見せて、「以前はこれだけ対応してましたが、残業を減らせと言われたので、今は以前の半分の対応回数にして残業を減らしています」ときっちり説明できます。

記録を見せて説明すれば「では、こうしてください」と提案する人はいても、理不尽な文句を言う人は少ないと思います。

業務への使命感から率先して対応されている姿を想像しますが、上司が残業改善のみを注意し、電話対応状況について改善しようとしないのなら、一度指示通りに動いてみては？

いつも電話対応するメンバーで示し合わせて、残業が必要になるほどに電話対応せず、あくまでも定時で帰ることを優先する。

当然漏れる電話も多くなるので、
電話不通の苦情などで、鈍い上司の考えにも影響があるかもしれませんから。