夫婦間で愚痴はだめですか？

只今育休中です。子供が大きくなるまでは自分の時間は子供のものだと思いながら日々過ごしてますが、2人で子育てを！と言ってたわりに趣味も自分の時間も妥協せず家にいるのは夜ご飯と寝る時だけの主人に不信感を持っています。
趣味のスポーツか街へふらふらしに行くのが昔からのストレス発散法だそうです。
私も少し疲れが出て『自由な人見てると時々無性に孤独を感じるよ。ちょっと聞いて欲しかっただけ、ごめんね』と愚痴をこぼしました。
すると『俺は毎日仕事してるから発散しなきゃやってけない』と言って不機嫌になり、会話は必要最小限になってしまいました。
働いてないなら文句言わず黙って子育てしてろと言われてるようで余計孤独と絶望を感じました。
金銭的な事や子育てに専念できてるのは主人が働いてるおかげだと考えたりなんとか消化しようとしても、どうしても『気軽に人に会えなくて趣味も我慢してどう乗り切っていけばいいの？少しも代わってくれない上に聞いてもくれないの？』という考えに戻ってきてしまいます。

夫婦間で愚痴はこぼすべきではないと思いますか？夫婦で支え合うってどういうことかわからずにいます。