転職か残り続けるか

下記条件で働いています。大手金融系です。 条件は良いと思いますが、仕事がハードで勤務地も遠く病みそうです。昨年頭に育休復帰してこの4月に異動になりました。 条件 37歳 正社員　事務 時短勤務で2歳児有 子供ありの状態で正社員になることは、年齢的にも無理かなと思っています。 派遣社員でもう少し気持ちにもゆとりを持って働けたらなと思うのですが、正社員をみすみす捨てることはもったいない、しかも時短だし、と周りから言われ悩んでいます。 正社員の職を手放してしまうことはこのご時世間違った選択なのか、いっそ療休でも取って粘ろうか、など毎日堂々巡りしています。二人目も欲しいですが、不妊治療も今の仕事と両立は難しいかもしれません。 客観的にご意見頂きたく。