子連れ再婚に悩んでます

２０代主婦です。夫３７歳子供４歳０歳男の子の４人家族です。
私は現在４歳の長男を未婚で出産しました。０歳の子供は今の夫との子供です。この子が生まれる前からの悩みなんですが、どうしても夫との育児について考え方が合いません。私の連れ子に対してきつく思えて仕方ありません。知り合って３年近くですが、上の子の事で何十回も喧嘩してきましたが離婚まで考えましたが、その時だけで結局又同じ繰り返しです。
友達には私が連れ子って頭にあるので夫が少し怒っただけでも、きつく思えるのかもしれないって言われ私もそうなのかと思いますが、毎日晩になると上の子の事ばかり考えてしまいます。やはり本当に親子関係って難しいんでしょうか？
あまり、いい親子関係にと思わない方が楽でしょうか？子供とも、あまり遊んでくれませんし、怒る事はしても褒めたり、かわいがったりと愛情がないような気がします。子供もそんなになついてません。とにかく上の子の行動がいちいち気になるようで、本当に子供に対して女みたいにうるさいんです。なのでジュースやお菓子など欲しい時は私に小声で言ってくるんです。まだ４歳の子がこんな神経使ってると思うとかわいそうになってきます。
夫が帰ってきてからはお風呂に入るまでテレビの前にじっと座ってるといった毎日です。ちょっとバタバタしたりすると賢く座っとけって怒られます。甘やかすのは嫌いですが、もっとのびのびと子育てをしたいのですが、なかなか意見が合いません。下の子にも泣くほど怒ったりしますが、とても愛情があるのは分かるんです。みなさんならどう思われますか？