結婚せず別れたほうがいいか

30半ばの4人の子持ちのパート主婦です。
現在パートナーと結婚を見据えマイホームを買い(彼が)生活しています。
3人は私の連れ子で、1人はお互いの子供です。
金銭的と、結婚はまだ考えられず籍はいれないでいました。
が、そろそろ考え初め子供は彼の姓で学校通わせたりしはじめましたが、最近やはり子供がいることに向いてない人すぎて悩んでいます。

彼は私が大好きで、常に一緒にいて常に二人の時間について考えていたいという人です。
単純にお付き合いしてたときは、私も会ってるときは子供のことは話題にせず(いるのは知ってる中で付き合ってます)、二人の時間を楽しみ、恋愛に溺れていたと思います。
子供のことも受け入れると言ってくれ、一緒にいたいと思いみんなでの生活をはじめましたが、かなりの彼の女々しさと自分のことを常に考えてほしいという性格から疲れがでて来ました。
子供がたくさんいるし、子供主体になることは仕方ないと思うし、何より子供は大事だと最初から言ってました。
他の人のように恋愛してそれから子供が産まれてという過程がないからもっと自分との時間を考えてと言われます。
私は朝7時前には家をでて、夕方6時に帰って来てのパートを週5でやっています。
たまに子供の行事で休んだりすると、嫌な顔されます。子供には使って自分には使ってくれないんだね、と。自分は謎の体調悪いーとかいって自分にしか有休使わないくせに。

今回もう考えようと思った出来事が
子供の入学式前日にケンカをして、彼は入学式出ませんでした。
また、今回子供の役員をすることになり、土曜日に役員の集まりがあり
行くことになったのですが、彼に
なんで二人の大切な時間の日にいくの？時間取ったんだから謝れ！と言われました。
なんで！？子供のことだし、これはやりたくてやってるわけじゃないし学校の都合のことでなんで謝るわけ！？とケンカしました。