うつの夫との関係　子供への影響が心配です

私の妊娠を機に（私の体調不良の為、遠方の実家に帰りました）夫とは別居して現在に至り三年になります。子供は二歳になりました。
私は産後うつになり、自分でも抑えられないほど攻撃的になったりし、それも一因で（他にも原因がありますが）夫がうつ病・パニック障害になり二年になります。
私は体調も落ち着いてきたのですが、いまだ攻撃的になるときもあります。
夫は一人暮らしで通勤していますが体調はまだまだのようです。夫は子供に出産時にしか会っていません。夫は電話にもでず、心配している気持ちをいくらメールしても用件しか返って来ません。会いに行こうとしたら断られました。

これからどうすべきかずっと悩んでいます。夫の元に帰って支える自身が全くないのです。私自身も精神的に不安ですし、主人の実家は全く頼れません。もし私が病気になったら子供はどうなるのか。
私自身も夫に対し、責任を感じていつも罪悪感がありますが、夫に対して憎しみさえ感じてしまうこともあります。

もし、うつ病の夫と同居して子供への影響もとても心配です。子供のこと、第一に考えて少しでもダメージの少ない選択をしたいと思っています。
正直離婚も考えています。でもどんな父親でも一緒にいるほうがいいのでしょうか。父のことで学校でいじめられたりしないでしょうか。
同居と離婚、どちらを選んでも辛い思いを子供にさせてしまうのかと悩んでいます。
自分の親の借金を返すため、私自身少し働いていますが、貯金は子供用に少しあるだけです。

身勝手だとは思いますが、ずっと悩んでいて頭がおかしくなりそうです。どなたかアドバイスいただければ幸いです。