異動するか現状維持か悩んでいます。

現在２歳の子供１人がいます。
現時点での働き方は、時短勤務ですが、今年度中にはフルタイムに戻す予定で、少しずつ終業時間を後ろ倒しにしているところです。(３０分刻みの時短が可能で、日によって好きなように伸ばしたり縮めたりができるので、急にフルタイムに戻して子供の負担にならないように調整している所です)

ここからが相談なのですが、別部署の部長から来年度から部署異動して、うちの部署へ来ないかと打診を受けています。
打診されている部署は、憧れの部署なので行きたい気持ちが強いです。ただ、現在の職場は１７時定時なので、保育園のお迎えはフルタイムに戻っても１８時には迎えに行けますが、打診されている部署は定時ではあがれず、基本的には１８時くらいまではいないとならないそうで、そうなるとお迎えは１９時前後になります…

上記の件を夫に相談のうえ、「異動したい」旨を伝えたところ、「迎えが遅くて子供が寂しい想いをするから、やめてほしい」と反対されました。
ちなみに、保育園の送りは夫、送りは私で、夫は帰りも遅いためお迎え～はワンオペです。また、夫は平日１日は休みがあるためその日は子供を休ませるかお昼過ぎにお迎えに行っています。

私の気持ちとしては、異動の話を受けたいと思ってはいますが、やはり夫の言う通り子供に寂しい思いをさせてまで…という気持ちもあり、ずっと悩んでいます。
先日、担任の先生との面談があり、相談したところ、人見知りもなくなり遅い時間にも慣れてきてるから少しずつ遅らせれば問題ないとは言われています。

上記の件について、皆様ならどういう選択をされますか？もしお迎えが１９時以降の方で、実際の経験談などお持ちでしたら、そういったこともお教えいただければと思います。