モラハラ？虐待？客観的な意見をお願いします

主人の言動がひどく、我慢の限界がきています。客観的な意見を聞かせてください。 子供は男の子が３人います。 （11,6,4歳） 主人は普段は優しく、家事を率先して手伝ってくれたりお土産を買ってきてくれたり、子供を連れて遊びに出掛けてくれたりします。 ただ短気でちょっとした事で不機嫌になり、ネチネチと嫌みを言ったり怒ったりします。 ・運転が荒い、煽る ・酒を飲むと難癖をつけて絡む ・世間話をしているだけなのに最後まで聞けずため息、頭をかきむしる ・否定意見を言うと「はいすみません」と言い不機嫌になる ・混雑している場所で避けず突っ込んでいく（周りに睨まれても平気） 子供に対して↓ ・宿題のサインを頼むと舌打ち ・家族で出掛けるときに忘れ物をしてもたついたら早くしろと怒鳴る ・宿題以外の勉強も毎日しないと怒る ・癇癪泣きが止まらないと怒鳴る、軽く叩く、外に出す ・言うことを聞かないとよろけるくらいの力加減で肩を叩く、押す ・うるさいとリビングから追い出す ・聞いたことにすぐ答えられないと舌打ち、怒り出す 特に子供に対しては私が見ていない時態度がひどくなるようで、パートをしていましたが子供に行かないでと泣かれほとんど行けなくなりました。 ３人とも父親を怖がり、顔色を伺っています。不在時は音にも敏感で、帰って来た？と何度も聞きます。 長男は父親を避けています。顔を見ると動悸がすると。 市の教育相談で詳しく相談したところ、精神的虐待と言われました。 離婚を考えているのですが、実家の母には「男の子なんだから厳しいのは当然、あなたの我慢が足りない」と言われ、私が間違っているのかと悩んでいます。 まだ離婚を考えるには早い？ 少し厳しいお父さんで通りますか？ 子供達の精神状態が心配なのですがこのまま生活しても大丈夫なのでしょうか....