もっと寛容になるべきでしょうか。

4歳児、0歳児の母です。専業主婦をしています。 主人は、残業が多く、平日は毎晩12時頃まで帰宅しません。 また、土曜日はほぼ毎週仕事。 月に3日休みがあれば、まあいい方かな、というペースで仕事をしています。 当然、仕事の日は私が育児のすべてをしています。 また、お休みの日も、なるべく休んでもらおうと、お風呂に入れるなどは、 平日と変わらず私が主にやっています。 ただ、優しい人なので、おむつを替えてくれたり、 お風呂に入れるのも手伝ってくれたり、日中、遊びにつれていってくれたりも します。（私も同伴します。） 上記までの、生活については、さみしいな～、と思うものの とくに不満を感じてはいません。 ここからが、もやっとしているところなのですが、主人が 月に1度ほど泊まりで実家に帰るのです。 それは、地元の友人達と遊ぶためです。 車で高速利用して、片道2時間ほどかかるところなのですが、 ほぼ毎月1度は帰ります。 実家に泊まっていることや、地元の友人は私も知っていること、 また、主人の性格上、浮気では100％ありません。 ただ、月3回しかない貴重なお休みです。家でのんびりでもいいので 子どもと過ごしてほしいな、と思うのです。 （私もさみしいし。） あと、一番もやっとするのは、「今週休めるかどうかわからない」とか 言っていながら、翌日には突然「週末、地元に帰るから。」と既に決めて 報告してくるのです。 私は、美容院に行くことですら「行ってもいい？ごめんね。」と 罪悪感満載なのに。 激務で、ぼろぼろの主人です。 彼には、これくらいの息抜きが必要なのはわかるのですが、 心のどこかでもやっとする自分がいます。。。