最低な母親になってしまいました

20前半で結婚して2年後に妊娠をし長男を出産しました。 元旦那とは仕事の関係上別居を元々しており段々と不仲まではいきませんが一緒にいてもお互い空気のようになり、たまに帰ってきた時も家事育児はしない不倫疑惑が3回程あったなど色々な理由で私から離婚を切り出して長男の1歳を迎えてすぐ離婚しました。 それから息子を連れて実家に戻ったのですが元々両親と仲があまり良くなく戻ってからは毎日顔を合わせる為か以前より両親と不仲になりました。 すぐ実家を出ればよかったのですが収入が安定していなくすぐ出る事は出来ず一応お世話になっているので毎日嫌味を言われても我慢していました。 でも離婚を選んだのは私なのに離婚してから全てが疲れてしまい育児も前ほど頑張れなくなったのと両親との関係にも悩み爆発して安定していないので息子を実家に残して最近実家を飛び出してしまいました。 その後両親と話し合いもしましたがあんたに子育ては出来ない、子供は私達が見るからあんたは好きに生きればいいと言われまだ息子と離れています。 突発的に行動してしまって今物凄く反省しているのと息子に会いたい申し訳ない事をしたと毎日考えています。 実家に戻れば済むのですがまたあの地獄のような生活をすると思うと怖くて戻れません。 出産して仕事を退職してしまった為実家にいた時はとりあえずすぐ稼げる飲み屋で働いていました。 でも息子とまた暮らしたいので現在安定した昼職を必死に探していて仕事が見つかり次第物件も探して実家と少し距離を置けるようにしようと思いその事を両親に話したのですが子供は置いていけとやはり言われ私が悪いですがどうすればいいのか分からなくなってきました。 母親失格なのは分かっています、でもどうしても息子を失いたくないです。 やはり実家に戻るべきでしょうか。