家庭トラブルで悩んでいます

旦那の実家に義家族と子供1歳と暮らしています。自分が義家族とうまくコミュケーションを取れず、一緒にいることや関わることがだんだん苦痛になり、避けるように生活してました。その態度に我慢の限界がきた旦那は出ていけと自分を追い出しました。暴力もありました。子供は義母が奪い取ったので自分だけ近くにある自分の実家へいくことになりました。子供とは3週間程会えていません。向こうの家にこちらが行けば会えるが、こちらに子供を連れてくることはしないようです。
当初私は3人で暮らすのが希望してましたが、旦那は一人っ子の為出るつもりがありません。追い出された直後は子供の為に向こうの実家に戻ったほうがいいか悩みましたが、10日程経ってもう義家族の家には戻れない。3人で暮らせないならもう無理だ、もう関わりたくないと思い離婚を自分の中で決めました。
自分の両親にも離婚の意思を伝えて離婚の方向で動こうとしてました。
が、先日やり直す気はないか、実家を出る検討もしていると旦那から話がありました。そんな話をされ気持ちがブレてしまいました。
手元に子供がいない為早く動かなければ親権が不利になると思い焦って離婚を自分の中で決めてしまいましたが、また迷ってしまいました。
気持ちがなかなか決まらずとても悩んでおります。
旦那に愛情があるかと言われれば分かりません。
ただ実家を出るという選択肢が向こうに出てきたと聞いて、別れたいと言えなくなってしまいました。
どうしたら良いでしょうか