幸せな在宅勤務を続けるか出勤するか

現在2歳の子育て中。育休後、パートで在宅勤務をしています。子どもが1歳時の時点で本来であれば出勤してのパート復帰だったのですが、まだ子どもが小さい事を理由に、パートで在宅勤務とさせてもらいました。 正直、産休前から辞めたくて仕方ない職場だったので、育児を理由に仕事から逃げたようなものです。 社員時代は出張も多く、残業はほぼ毎日。結婚後もそんな調子で毎日ヘトヘトで、毎日夫婦ケンカをしていました。 私は、最近よく耳にするHSPという気質なようで、おそらく人より繊細で、疲れやすいです。 営業などの人と関わる仕事が向いていると周囲には評価されるのですが、人に合わせ人の気持ちを汲んでしまうので、とてもストレスを感じやすく、休日には動けないくらいどっと疲れるという性格です。 職場の人には仲良くなると途端にマウントを取られたり。人から嫌われてはいませんが、私は嫌いな人が沢山いる職場です。嫌いだと表に出さないように努めています。 現在の在宅勤務で人と関わらずに済むというのが本当にストレスが無く幸せです。人と話したくもなりますが、子どもとの時間はとても楽しく、充実しています。 本当は在宅勤務を続けたいですが、あまり長くこの幸せな日々を過ごしてしまうと、普通の（出勤したり、接客をするような）仕事に就けなくなってしまうのではないかと不安になります。 在宅は時間が短く沢山は稼げないし、夫一人の稼ぎだけでやっていくのは辛い様子。子どもが来年3歳になれば、沢山保育園へ預けて、お金のためにも私が通常出勤した方が良いのでは？と夫婦で話し合いました。 でも、出勤したら嫌いな人ばかりだし、余裕が無くなりそうです。子どもにも八つ当たりしたらどうしよう。たぶん恵まれてる環境にも関わらず、復帰を考えると気分が落ち込みます。 喝でもアドバイスでも良いので、何かアドバイスください。よろしくお願いします！