離婚しようか悩んでいます

現在、旦那(25歳　社会人　技術職のため収入低)、私(23歳　社会経験なし　教員免許有)生後7か月の子で暮らしています。 私は学生で彼は社会人で付き合って別れてという微妙な関係の中、子どもができ、話し合い、お互いの両親も納得の上で結婚し、出産しました。 幸い、お互いの親の援助のおかげで結婚式もあげ、旦那の収入が少なくても子どもを育てられています。 去年の年末に旦那の不倫が発覚しました。 出会い系未婚と偽り、付き合っていたそうです。(証拠はないが、肉体関係有) 旦那の実家にいるときに発覚したので、義母も交えて話し合い、2度としないという約束で許しました。 今年に入り1月に不倫関係が続いていたことが発覚。 相手の女は妻子持ちと知っても関係を続けたいと言ってきたそうです。 再び旦那の実家で発覚したため、義母を交えて話し合い、その場では精神が持たなかったため、答えを出さずに終了。 (この時相手の女に電話をし、既婚者と知りながら付き合っていたという確認をした録音有) その後、私は実家に帰り、旦那は毎日謝りにきました。そして私は離婚するか否かの答えは、再び3人で暮らしてみて出すといいました。 その際お互いの了承のもと、 ・GPSアプリをいれる ・私が携帯を見ても怒らない という約束をしました。 ですが携帯を見ると不機嫌になったり、遊びや飲み会について深く聞くと怒られます。 また収入がなく、私の貯金を崩して生活費をやりくりしているのに月4以上飲みに行きます。 また育児が辛いのに外出が多く嫌だと言ったら、俺だって仕事のストレスが溜まる、お前には分からないと言われました。 子どもから父親を奪うこと バツイチ、シンママになるのが怖いため離婚に踏み切れません 一緒にいて楽しい時もあるし、嫌いではありません。家にいるときは、家事と育児を出来るだけ手伝ってくれています。