シングルマザーの転職の悩み

皆様に転職のご相談にのっていただきたく、投稿しました。 私は４歳の子供をもつシングルマザーです。 今は病院の事務で正社員として勤務しています。 現在の職場は、8:30～17:30までですが残業が１ヵ月に25時間程あり、子供の保育園のお迎えは実家の母に頼りっぱなしです。 年間休暇は125日と比較的多く、休みもシフト制で希望通りには休暇をとりやすく、職場で調整がとれれば連休もとれる環境です。 また、勤務地も家から自転車で通える距離のため、とても環境には恵まれていますが、病院の事務という職場が女性世界で、妬みや嫉妬が多いため、就職してから現在までとても嫌な思いを沢山してきました。この人間関係に疲れたことと、残業が多く子供と接する時間が短いこともあり、転職を考えています。 転職先は市場の事務のため、勤務時間は8：00～15：30まで。残業は1年に数回程度しかないそうです。勤務地は車で20分。給料も今より5万円ほど下がります。（現在は残業代で稼げてるため）また、休暇も年間96日と少なくなります。 将来のことを考えて、どちらの職場の方が子供のためになるのでしょうか？ 私としては、転職をして、休暇は少なくなるけど、毎日早く帰れる職場のほうが良いのでは…と思ってしまいます。ただ、それは子供が小さい内の事で、中学生・高校生となると、学費もかかるため、今の職場で残業をして給料が高いほうが良いのでしょうか？ ご意見をお願いします。