主婦とパート？

３０代の主婦です。
子供ができてから仕事をやめ、子育てに専念してきましたが、子供が大きくなったのもあり、パートのお仕事を始めました。
しかし、仕事の休みが不定期な夫が家にいるときは家族で過ごしたいと思っているのですが、夫がいつ休みなのかが直前までわかりません。
この間、久しぶり夫が休みの日にパートのシフトに入っていて、家族で過ごすことができませんでした。共働きをしているご夫婦なら普通のことでしょうが、パートというのもあって、夫にも理解してもらえず、すぐやめるように言われました。
パート先はシフトが一ヶ月単位で決定してしまいますし、直前に夫の仕事が休みだからというだけの理由で（私の家庭ではこれは重要なのですが、世間的に・・・）パートを欠勤するのもできません。

お金に困っているわけではないのですが、時間が有り余っており、私自身働くことが好きなので、働き方を変えていけたらなあと思っていますが、最近では、直前に決められる派遣のお仕事も無くなってしまったようなので、大変困ってしまいました。

やはり、こういう家庭の事情がある以上、諦めるところは諦めるしかないかもしれないのかと思っています。