バツイチを黙っていた彼との交際

長くなります。
今交際して3ヶ月の24歳の彼がいます。
出会ってすぐ彼から告白されましたが、自分にも長く交際して婚約解消した相手もいたので一回離婚したような気分だから簡単ではないと話し、少し時間をもらい、その後付き合いました。
彼は一人暮らしで元彼女と同棲してた部屋に住んでおり、元彼女と喧嘩して別れた、という話は聞いていたのでたまに遊びに行っていました。
最初部屋に入った時に違和感を感じたので結婚してないよね？ときいたらしてない。
と言われていたので交際を続けており少ししてから彼の方から同棲がしたいと言われ、彼が近々引っ越すと言っていたのでそれまでそこに住むかとなりましたが
私がまだ付き合って間もなかったのでお互いの事よく知らないからもっと知ってからにしようと提案し、一旦保留としていました。
そこから一緒にいるうちに良いところも沢山分かり、私の婚約解消した過去なども辛かったよねと時間かけてもいいからと受け止めてくれていたので、私も彼と前を向いて頑張ろうと同棲の話を進めようとしていたところ
彼から今後のために話したいことがあると言われ聞いたところ
バツイチだと言われました。
自分では思い出したくもないから無かったことにしていた。言ったら嫌われると思った。と。
スピード離婚だったこと、子供もおらず正式に成立したのは私と出会った直前。書類で全て確認しました。
私が騙されていた気分で、今までも前の彼女とのこと、自分の話などしていた時に彼は嘘をついていたことになるので信用できない。と言いましたが
彼は自分が全て悪い、本当に自分が言わなかったのが悪かったし傷つけてごめん。と。それでも私と一緒に結婚したいと思ってると言ってきました。
正直彼と頑張って行こうと決めたところだったので、どうしたらいいかわかりません。
こんな経験も考えもなかったので、ご意見をお願いしたいです。