休みの日に休まない夫

30代前半妻です。４歳の子どもが一人と30代後半の夫との３人暮らしです。
フルタイム共働きで、２人とも職種は同じです。今はお互い超繁忙期なのですが、夫は育児に協力的で、18時の保育園お迎えに間に合う日はお迎えにも行ってくれています。帰ってからは私が家事をすることが多いですが、夫も全く何もしない訳ではなく、お互い今必要な家事育児を気付いたときにやっているという感じで、夫にはとても感謝していますし、平日については特に不満はありません。

不満なのは土日です。お互い土日が休みなのですが、毎週日曜日は夫が趣味の活動に出かけるので、家族で過ごせるのは実質土曜日だけです。
その土曜日に、夫は念入りに家事をしたがります。私は平日の疲れを癒したくて最低限の家事育児をしたらあとはぐうたらして昼寝なんかしちゃっているのですが、夫はせかせか家事をしています。元々家で口数は少ない方の夫ですが、より無口になりしかも不機嫌な(人を寄せ付けたくないオーラを出している)様子です。
持ち帰りの仕事があるならそっちを先にしたらいいのに…休日なんだからゆっくり休んだらいいのに…と私は思うのですが、夫はひたすら動いていて、逆に休養取ってる私が悪いことをしているような気さえしてきます。

実は夫は子どもが０〜１歳の頃、職場の同僚と１年以上にわたって不倫をしていた過去があり、その罪滅ぼしのつもりなのかなと感じることもあります。ただ、不倫が発覚し女とは別れた後も、夫の気持ちは私に向いていないような気がして私は寂しく感じており、夫は家庭に戻ったとはいえ休日私と顔を合わせたくないのかな、一緒にゆっくりしたくないのかなと色々勘繰ってしまいます。

まとまりのない文になってしまいましたが、休日に夫と時間を共有するために今後私が出来ることは何だと思いますか。ご回答頂けると幸いです。