2tトラックドライバーへ転職すべきか悩みます

34歳男性（既婚、子持ち）です。
転職して３社目の会社（物流業）へ入社して4ヶ月になります。
（※１社目は情報系の会社（10年）、２社目は自動車関連（３ヶ月）です。）
入社当初は事務職として入社しましたが、仕事が出来る方では無かったため
現場として2ｔトラックドライバーへ異動するように会社から指示がありました。
（無理な仕事を振って来てるので、肩たたきでもあると思います。）

自分の職歴として、2社を短期間で退職することになってしまうため、次の転職先を探す際に不利になるので、退職すべきか悩んでます。
これ以上の年齢を重ねると転職も難しくなるので、若い（？）うちに４社目を探すのも有りかなという考えもあります。

ちなみに2ｔトラックドライバーの詳細ですが、近場で１日16件程、個人宅へ食料品を配達するような仕事です。女性ドライバーも多数居るようなので普通自動車運転免許があれば出来るよ。と説明を受けています。

私としては、ドライバーのデメリットとしては、近場と行っても一日８時間超はトラックを運転するわけで、途中で体調が悪くなったり、天候が悪くなっても運転をしないと成らない、また極端な話命を落とす、奪うこともありうる危険と隣り合わせの職と考えています。
家族も給料を貰えても、不安やリスクが大きすぎる、長く出来る仕事ではないと考えているようです。
自分としては１日中一人で自由が利くし、日勤で近場なので毎日夜は家に帰れる、お客さんと直に会話が出来る職なので大変興味はありますが、生半可な気持ちでドライバー職を勤めて良いものか判断に迷います。

もしトラックドライバーへ転身された方や経験者、ご家族でトラックドライバーの方が居ましたら、転身すべきかどうかアドバイス頂けると助かります。
厳しいご意見頂けると助かります。