ワーキングママの残業について

はじめてトピを書きます。
私は30歳手前の二歳半の息子を持つワーキングママです。
一年ほど前から子供を保育園に預け、派遣でフルタイムで仕事をしていました。
今年の夏頃に、知り合いの会社から、ヘッドハンティング？みたいな形で新しい職場に契約社員として
来ないかというお話がありました。
業務内容は、秘書です。
派遣での仕事を選んでいた理由としては、残業もなく、子供を中心に生活をしたいので、自分の無理しない範囲で家庭と両立出来そうだと考えたからです。
契約社員になれば責任も重いですし、新しい仕事へチャレンジする勇気がなかったので
何度か断りましたが、
派遣の仕事よりも早く帰れるし、（17時には帰れると言われました。）忙しくないし、難しいのは丁寧に教えますし、引き継ぎも
きちんとあるので大丈夫と幾度に渡り説得されました。
私からも、残業は前もって予定していないと、保育園のお迎えがあるので出来ません。家族に頼まなきゃいけないので
出来ませんと、何度か伝え、それで大丈夫です。と言われたので、10月から働き始めました。

しかし、いざ働き始めると、毎日一時間以上の残業、
お迎えが遅れたり、お迎えに行って、子供を祖母に預けてから
また会社へ戻る事もあります。仕事の量も多く、引き継ぎをする方もやめていて、きちんとした引き継ぎも
ありません。周りにワーキングママがいないので、帰り辛い事もしばしば。
子供との時間が減り、毎日ヘトヘトです。、転職したばかりなのに、辞めようと思ってます。
辞める理由を正直に言うべきですか？話が違うと言うべきか悩んでいます。
聞いてた話と違い過ぎて、腹が立っています。
揉めずに辞めるには、急な主人の転勤などと言うべきでしょうか。
まだはじめて二ヶ月なので、無責任だと思われるのも不安ですが。。
どうしたら良いか、皆さんのご意見をお聞かせ下さい！
宜しくお願いします。