残業を断れる派遣

現在週4で仕事してます主婦です。
まだ結婚して日が浅いのですが、主人があまり外で働くのをよく思わなく家のことをしてもらいたいというちょっと今時にしては珍しい人です。

そこで日々残業が発生するときがあるのですが、人によっては断っているし、いつもがっつり残業する人等様々です。聞いたところ必ず残業しなくてはならないという決まりはなく帰る人もいるようです。

私の場合はたまに残業、そしてずるずると残業することが最近多くなってしまっています。問題は主人があまり残業に賛成でないことです。
たまの残業はまあ許してくれるという感じです。
出来れば夕方とかに終わる仕事にすれば問題はないんですが・・
なかなか条件のあうところがなく現在の所で働いてます。

先日同僚にその旨を話したら「え・・・！？旦那さん、子供？みたい・・・？」
大丈夫・・・？みたいな感じでした。

こんな細かい事情話さなくてもよかったと後悔。

主人の事情というか家庭の事情であまり残業できないという方って
いないのでしょうか？
うちはこういうスタイルなのでしょうがないといえばしょうがないです。
ただ必ず残業しなければならない職場でないだけ有難いです。