甘えてるだけなのかも

トピ主さんが「続けるべき」と考える基準がわからないので、何に着目するかで、続けるべきとも言えるし、辞めたほうがいとも言えるのではないでしょうか。

もしトピ主さんが、キャリアや経験を基準にしているなら、現状で症状は治まってきているようですし、続けるべきでしょう。
不揃いで質の低い人材、整っていない体制、ワンマン社長などは、まさにトピ主さんが期待していた「中小企業で学ぶべきこと」です。それを我慢する気がないのなら、キャリア云々ではなく、楽に働ける整った組織の大企業に勤めるべきでしょう。

また、体のことを基準にしているなら、辞めるべきでしょう。
いくらキャリアが身についても、将来的に鬱などになって働けなくなったら、なんの意味もありません。職場に慣れても、精神的なダメージが続くようなら、一生のことを考えれば、より精神的にいい職場を選ぶべきです。

トピ主さんが、転職をどういうものと考えていたかわかりませんが、世間の人が転職を躊躇したり、中小零細企業を避けるのは、それなりに理由のあることです。
それを十分な覚悟もなく実行してしまったという点で、確かにトピ主さんは甘かったと思います。
でも、社会人4年目なら、失敗も経験でしょう。キャリアを作りつつもう少し環境のいい職場への転職を模索しつつ、今は症状を見ながらもう少し続けるというのが、現実的な選択なんじゃないでしょうか。

転職してから一年経ってないならば、決断はまだ早いような気がしちゃいます。
社長もやっぱり人の子です。どこかしらそういうところはあります。
言った言ってない、誰かのせいにしたり、仕事以外のことを今すぐやれとか、ね。
私のところも、凄いアイディアマンで頭の回転切れる社長ですがそういうとこありますよ笑

上司にいろんな事を頼まれ自分が出来ることがもっと増えたら
楽しいと思えることも増えるはず。
今は気持ち的にもつらい時期かもしれませんが、もう少し踏ん張ってみてほしいなと思いました。