やはり何と言っても対人の大事故の加害者になる危険。
そして、誰も加害者を助けてはくれません。
やはりハンドルを握るのをやめる勇気こそ一番必要です。
もしトピ主さんが正社員であれば、退職せずに思い切って転属をおすすめします。
正社員は日本の法規上は簡単に解雇できないので、無事故の今こそ社内での別の仕事へ転属と言う形で移るのです。
例えば配車業務や受発注業務や庶務や労務など何か別の仕事は存在すると思います。

私は今の職場へは20代で国家資格所有者専門職として就職しましたが、
40歳で大病を患って「これはいつかミスを起こす。このまま無理して頑張り続けてミスを起こしてはいけない」と
自ら降格を伴う窓際族(庶務)への転属しました。
オペ入院は数日のみ、その前後に仕事しながらの通院で化学療法、その後は経過観察。
今は元々いた部署に出戻り、しかしながら資格職としての前線復帰は無理なので裏方サポート業務と庶務を兼務。
勿論降格のまま、低収入のままです。
でも事故を起こす危険性を考えたら定収入の平社員でも一線を退くことを私は選びました。
トピ主さんも体調が万全になるまでは後方支援部隊になる選択肢も考えてみてください。

年1，2回なら目くじら立てるほどの頻度ではありませんが、運輸業なら当日休みはディスパッチャーが大変ですね。

その発熱やめまいは疲れやストレスからくるものではないでしょうか。でしたら、前触れや気配があると思います。その気配を感じたら有給休暇を申請したらどうでしょう。シフトが月次なら、2か月に1回くらいの頻度で有給休暇を計画的に取得しても良いと思います。働き方改革法で年5日の有給休暇取得は会社が従業員に取得させる義務があります。