バツイチ子持ちの彼との結婚生活

はじめまして。結婚二年目、29歳女性です。私は初婚で、彼はバツイチ子2人ありです。現在八ヶ月の赤ちゃんができ、計五人で生活しています。私の実家は遠く、彼の実家は家から五分ほどにあります。彼の前妻の子は、下が小学二年の女の子で、上が小学四年の男の子です。彼は仕事が忙しく、私と再婚するまでは、実家の両親が面倒みていました。彼は離婚後、前の奥さんには一切連絡をとっていません。離婚当時は下が八ヶ月、上が二歳でした。彼の両親はいい人で、夕飯を持ってきてくれたり、何かとお手伝いしてくれます。みんなで生活していく中、前妻の子は、私になついており、八ヶ月の赤ちゃんも可愛がってくれます。ただ、下の子の性格がワガママで、素直さがなく、食事に文句をつけたり、口が悪く、すねると、自分の感情を抑えられず、怒ると私に、おまえと言ったり、八ヶ月の赤ちゃんを蹴ったりします。
注意をしても、同じ事を繰り返します。彼の事は怖いらしく、注意されるとその場をしのぐ為に謝るといった感じです。しつけはしつけなので、注意をして怒るのですが、彼の両親があまかったようで、一向になおりません。だんだん、一緒にいることが苦痛になってきて、最近は、離婚も頭をよぎります。彼に相談すると、今すぐはなおらないし、逃げてばかりで努力が足りないのでは？と言われます。赤ちゃんの為にも離婚は避けたいですが、うまくやっていけるか自信がもてません。どうすることがベストでしょうか。