自営業妻がパートで働きたいのはわがままですか？

主人が自営業です。子供が産まれる前は主人の仕事を手伝ってました。しかし子供が産まれてからは、パートさんを雇い私は専業主婦になりました。
子供が小さい頃は専業主婦で良かったのですが、今は末っ子が小学生になり専業主婦では時間を持て余しています。
なので、パートで働きたいと思っています。

しかし、税金対策で青色申告専従者の為パートをする事はできません。
主人にパートで働きたいと言っても税金が高くなるからダメと言われます。
その上今でも家事育児ちゃんとできてないのに働いて完璧にできるの？と言われました。

確かに働きながら家事育児は、大変だと思います。それでも私は専業主婦は向いてないと思っていて働いたほうが生活のリズムも整うし社会との関わりも欲しい。生活費も主人からちゃんと貰ってますが、やっぱり主人が働いたお金で好き勝手使うのも気が引けます。
そのうえ敷地内同居している為毎日家にいるのは苦痛でもあります。
働けば色々と心身共に豊かになるような気もします。

まわりは子供が小学生になるとほとんどの人が働いていて専業主婦の方が少ないです。子供達もママ働かないの？と働いてるママがいいみたいです。

それでも、主人は働くことに賛成してくれません。自営業の奥さんはみんな外で働いてないっていいます。
やっぱり、仕方ないことだとあきらめるしかないですか？私のわがままですか？