今の職場に留まるか戻るか

転職して半年になります。前の会社から戻って来ないかと声をかけてもらい、迷っています。ワーママのアラサー。技術職です。
転職理由は技術的な成長の為でした。以前の会社は、人当たりが良く、子供がいることに理解もあるため、子育てしながら仕事をするにはとても働きやすい環境でした。ですが技術力の高い人がおらず、この先の自分の技術者としての成長が期待出来なかった為、もっと成長できる環境が既に整っている職場に行こうと思い、転職に至りました。
今の会社は技術力の高い人が多く、勉強会などの環境も整っていてすでに成長するための道が作られているので、技術者としてやっていくには申し分ない環境だと思います。
ですが、人当たりがキツかったり、馴染めなかったりして精神的に参ってしまっています。早退、遅刻、有給はダメと言われることはありませんが、子供がいる人が少ないのでなかなか理解してもらえず、あまり良く思われていません。(早退、遅刻の場合はその分残業で相殺しています。他の方も通院や私用でやっています)
将来的なことを考えると今のところに留まるのが良いと思うのですが、精神的に辛いときに戻っておいでと言ってもらえると前の職場に甘えたくなってしまいます。
声をかけてくれている元上司は、同時に技術力が高い人をもう一人入れる予定で、今後環境も整えていこうと思ってるから良いタイミングなのではないか。今後どう成長したいかによって、サポートも考えていく。と言って下さっています。
ですがもともとその環境がなかったから、成長が期待できる仕事がないから転職したのも事実で、今後本当に前の職場環境が変わっていくという保証はありません。
アドバイスが欲しいです。