シングルマザーの転職

皆様に転職のご相談にのっていただきたく、投稿しました。

私は４歳の子供をもつシングルマザーです。
今は病院の事務で正社員として勤務しています。
現在の職場は、8:30～17:30までですが残業が１ヵ月に25時間程あり、子供の保育園のお迎えは実家の母に頼りっぱなしです。
年間休暇は125日と比較的多く、休みもシフト制で希望通りには休暇をとりやすく、職場で調整がとれれば連休もとれる環境です。
また、勤務地も家から自転車で通える距離のため、とても環境には恵まれていますが、病院の事務という職場が女性世界で、妬みや嫉妬が多いため、就職してから現在までとても嫌な思いを沢山してきました。この人間関係に疲れたことと、残業が多く子供と接する時間が短いこともあり、転職を考えています。

転職先は市場の事務のため、勤務時間は8：00～15：30まで。残業は1年に数回程度しかないそうです。勤務地は車で20分。給料も今より5万円ほど下がります。（現在は残業代で稼げてるため）また、休暇も年間96日と少なくなります。

将来のことを考えて、どちらの職場の方が子供のためになるのでしょうか？
私としては、転職をして、休暇は少なくなるけど、毎日早く帰れる職場のほうが良いのでは…と思ってしまいます。ただ、それは子供が小さい内の事で、中学生・高校生となると、学費もかかるため、今の職場で残業をして給料が高いほうが良いのでしょうか？

ご意見をお願いします。