零細企業から中小企業に転職？

社長夫婦と社員2人、バイト3名の会社で働いています。いわゆる零細企業です。
社会保険をかけてもらって時給1000円で働いています。34歳です。

子供達がまだ小学生なので、夏休みには、お昼休みに帰れる距離ということで今の会社をハロワで探して入社しました。

いろんな仕事を任せてもらって、やりがいはあります。子供のことがあるので、18:00以降は残業できません。急ぎの仕事は、中途半端なところで仕事を社長や奥さんに引き継いで帰りますが、まったく嫌な顔をされません。それどころか、「安いお給料しか払えないのに、こんなことまでさせてごめんね？」というお言葉まで。

普通の中小企業（100人規模）なら、残業できない社員にはさせてくれないような業務も経験できるし、人間関係は良いしで、ずっとここで働けたらな…と思っていました。
お役に立ててるようで、可愛がってもらっていて、ぬるま湯に浸かっているようです。
しかし、最近、転職を考えた方がいいのかな？と思うことがあります。

以前も零細企業に勤めてたことがありましたが、社長お気に入りの社員がいました。
その人が社長のうっかりミスを指摘したところ、メンツを潰されたと思ったのか社長が激怒、その後、その元お気に入り社員をパワハラで2年かけて退職に追い込みました。（その人は社長のミスとは知らず、事務員のミスだと思って指摘した）
長く勤めてる人は「社長、昔はこんなことなかったのに、男の更年期かねえ？」と。

今の会社で続けて40、50代になった頃に、社長からそういう扱いされて退職せざるを得なくなったら…と思うと30代のうちに転職した方がいいのかな？と。

一方、夏休みや冬休みに、子供達を留守番させる自宅にお昼休みに戻れなくなるのはちょっと不安。
それと、今の会社が良くしてくれてて、そのぬるま湯から抜けだすのが不安。

皆さんの意見をお伺いしたいです。