彼女と付き合っていくことの希望と不安。

バツイチの３３歳男です。彼女とのこれからについて相談です。
元妻は同じ年齢で、２０歳のころ出会い５年の交際を経て２５歳で結婚。
結婚６年目の３１で別れました。　お互いの間に子供はいませんでした。
離婚の決定的な原因は妻の３度目の浮気が発覚したことでした。
ですが、結局のとこお互いに夫婦としての自覚が未熟だったこと。
お互いが家庭は二の次でそれぞれが我のことを優先して過ごしすぎてたことかなと今は思っています。
離婚後に残ったのは、女性を幸せにするという自信を持てない私と女性に対して本気になるのが怖い私。
１から恋愛すること自体どうしたらいいものか分からないと、
女性と知り合い少し親しくなったりしてみてもどこか構えてしまっていました。
そんな中で昨年の秋に同年齢の一人の女性と出会いました。
ふたりで食事に行った時、この人と一緒に居たい。離したくない。と自身でもびっくりするくらい気持ちが湧き、
そして１２月に告白し付き合うこととなりました。
付き合い始めて数日後、
「すぐとかいつまでにとかもちろんまだ言えないけど、きちんと先を将来を考えた付き合いをしたい」
こんな内容の１通のメールがきました。
しかし、ここでまたあの感情が・・
この人となら新たな一歩を進んでいけるという希望と、女性と付き合うことに不安を抱いてしまう私の板挟み。
真剣にその女性を思う気持ちにウソはありません。でも、怖い気持ちも事実。
１、もう結婚は嫌という気持ちは全くない
２、彼女との将来を考えたい
３、でも中途半端な覚悟くらいなら、今のうちに身を引くことも考えている
４、もちろんバツイチであることその過程について彼女に話している
５、いまこうして悩んでいることも彼女に話している
このような状況、みなさんでしたらどう考え行動していきますか？
是非アドバイスやご意見を頂けないでしょうか。よろしくお願いします。