育児ノイローゼ…どう乗り切ればいいのか

２歳半の娘がいる30代専業主婦です。
半年以上前から異常に怒りっぽくなり一度だけですが娘を叩いてしまい、限界だと思ったので心療内科に通うようになりました。
当たり前ですが、だからといって何もかも良い方に行くわけでもなく悪化の一途を辿っているように感じます。

ストレスに弱く（学生時代～20代頃までひどい鬱を経験しています）、完璧主義ゆえ子育てができる自信は全くありませんでした。しかし夫は「結婚したなら子供を作るのは普通のこと。悩む価値もない」と切り捨て、抵抗もしましたが、すんなり子供はできました。
もっと赤ちゃんの頃は可愛いとも思えず、今は確かに可愛いと思うときもありますが半分は憎らしく近寄って来ても“見える程度のどこかで静かにしてて”と思ってしまいます。
あと、２歳半でまだ単語を１つ２つ言うのが精一杯なので、本人のできる事が多い割に話が通じずという状況が追い討ちをかけています。どこにでも手が届くのに「やっちゃだめ」が解りません。平均的な発達をしている子を見る度に暗い気持ちになります。

夫は、私の意見を曲げさせて子供を作った事を分かっているから本当に色々手伝ってくれるし私が手を抜いても怒ることはありません。とても感謝しています。子供も、まだよく分かって無いんでしょうね…どんなに邪険にしても慕ってくれます。

でも、もうどうしたらいいのか分からなくなっています。

一日の半分怒鳴っている母親なんて、いない方が良いんじゃないか。どうしたら怒鳴らずに笑いながら暮らせるのか…。休養をと言われても、これ以上休む余地は無い。

私は人付き合いが非常に苦手で外出すること自体もストレスです。近くに友達と言えるような人もいません。実家は車で１時間程度の場所にありますが、長く預けたり話を聞いて貰うのは無理です。体調も色々悪いです。

どう乗り切ったらいいか…ご意見お願いいたします。