車の運転で…落ち込んでいます

　28歳男です。
　会社で時々車を運転する機会があります。私もこれまで何度か運転させて頂きました。
　道は決まったルート（20ｋｍ弱）ですが、一緒に行くメンバーは毎回違います。12人位の小さい営業所（地方）です。
　昼と夜両方運転する機会があるのですが、今日の夜ある先輩（45歳位の人）と2人で同乗する時、以下のようなことを言われました。
　
　私　「今日帰りは私が運転しますよ」
　先輩　「いいよ。俺が運転する」
　私　「いや、運転させて下さい（練習したいという意味で）」
　先輩「いや～怖い！怖いよ！」
　私　「何でですか？今までも夜は2～3回乗らせてもらってますけれど」
　先輩　「普段の仕事振りとか見てるとね。時々ミスするし…」

　これまでも、昼間はこの先輩は同乗してくれることがありました（今まで2～3回）。それに、他の先輩は、昼夜問わず僕に運転させてくれたり、僕の運転を「上出来だ」等と言ってくれることがありました（性格的に優しいからかもしれません）。
　
　確かに僕は運転自体経験が浅く、特に夜は不慣れということもあります。しかし、事故を起こしたことは無いですし、この営業所に来てからも、多少危ない局面もありましたが、危機的な局面は無かったように思います。
　そして何よりも、仕事のことを言われたのがたまらなくショックでした。
　私は入社3年目で、今の営業所に異動してきたのは今年の4月です。確かに、何度かミスをしてしまいましたが…。ここまで信頼が無いのかと思うと、自分の存在を否定されたようでつらかったです。
　
　僕がこの先輩に運転させてもらうにはどうすればいいでしょうか？
　人間関係を崩さないため、そして何より事故を起こさないことを最優先にして、この先輩と一緒の時は運転しない方が身のためなのでしょうか？

　アドバイス願います…。