素人考えですが、公務員採用は新卒・社会人で差はなく、自己アピールより公務員試験の点数の比重が重いと思っています。

もし「社会人採用」を目指しているのなら社会人経験が重視されると思いますが、年齢制限はないのでは？。

トピ主さんが国家公務員に採用されたのも、公務員試験の点数が良かったからではありませんか？。

＞私には何もないな

と言っても、公務員採用で数年ならベテランでもないし、民間でも新卒後数年の経験なら「社会人としての経験」は仕事ではほとんど積んでないと思います。

＞元々スポーツ経験もないですし学歴も専門卒で特別賢かったり、高度な資格を持っている訳ではありません

一般の公務員ならそんなことはほぼ関係ないと思います。

「体力がないと厳しい職」なら、試験の点数と体力テスト？で選抜されるのでは？

民間企業での転職は「即戦力」を要求されるので「業務のベテラン」でなければ、同じような年収で転職するのは難しいように思います。

でも公務員試験は年齢制限以下で、テスト勉強をやる気のある人なら（試験に受かれば未経験でも採用されるので）みんな１回は考える転職の選択肢です。教員など資格が必要な職種でなければ資格の有無も関係ないはずです。

体力トレーニングを続け、試験勉強も頑張る意欲があるのなら挑戦すれば良いと思います。