二人目をどうするか迷っています

現在32歳、3歳の息子がいます。
もともと子ども好きではなく、自身のきょうだい仲も悪かったこと、教育にお金をかけてあげたい思いなどから、一人っ子のつもりでした。
ただ、周囲は地域性もあるのかひとりっ子はとても少なく感じます。
そのためひとりっ子だと可哀相だろうかと思ったり、二人以上産まないと私が劣等感を持ちそうになっています。
手がかかる息子も春から入園なので、二人目ができてもやっていけるかな、赤ちゃんをまたお世話したいなとは思うのです。
でも、息子には重度の食物アレルギーがあり、それは主人の体質が似ている可能性があります。
正直、ここまでの育児はアレルギーに気を揉んでノイローゼになりそうなくらい辛かったです。
それが二人目もアレルギーだったらと思うと怖いです。
また、主人は激務で両家の両親も頼れず、息子の育児は里帰りもなくほぼ一人でやりました。
当然、二人目ができても同じ状況になります。私は周りの目が気になったり、ウジウジ悩み易い性格なので、ひとりっ子がいいのかなと考えるのですが、すっぱりと決断できません。
みなさまの意見を聞かせて下さい。