離婚したほうがいいのかな？

結婚して３年の主婦です。１歳の子供がいます。主人のことで悩んでいます。 主人は、昨年から会社の倒産や、就職してもうつ病で解雇されたりといろいろあり、しばらく無職の状態が続いていました。何とかこの夏から就職もでき、本人の希望とはちょっと違う職種らしいのですが、働きはじめました。 私は今は無職ですが、出産前に体調を崩してほとんど寝たきりだったのもあり、なかなか体力が戻らず、最近になって職探しを始めました。が、このご時世、子持ちでは、なかなか見つからず、そんな私に主人は、イライラしていることもありました。 そして先日、週末に私の実家に行くことを主人に伝え（１ヶ月前にも伝えてあります）主人は私の実家ではとてもつまらなそうなので、無理に来なくていいよと言ったところ、子供を置いていくなら帰っていいと暴言が始まりました。 今回の帰省は私の友達に会うことは伝えてあり、友達が子供に会いたいと言うことも、もちろん話してあります。なのに、突然、一人で帰れと言われ、「どうして？」と聞いても要領を得ない答えと罵声しか帰ってこないのです。 主人の言い分は、要約すると次のようです。 　平日は子供と触れ合えないから、週末は子供と３人で過ごしたい。 この言い分は至極真っ当なのですが、主人は週末だからといって、子供の世話（食事やおむつなど）ほとんどしません。もちろん平日もです。週末は録画したドラマなど１日中見ていて、その間は子供の相手なんてしません。見終わると、横になるといって寝てしまいます。休日は家族と過ごすというのも、ほとんどの週末を家族で過ごしています。 今回のように、私の帰省があると急に機嫌が悪くなります。私が悪者のように怒鳴りつけるのです。 主人に怒鳴られるのはもう耐えられませんが、耐えるしかないのでしょうか？やはり主人の言うように私が悪いのでしょうか？