自分に自信が持てない

29歳公務員の女です。
今3歳年下の同じ職場の男性と交際４ヶ月、同棲して２ヶ月半になります。
同棲までの期間が短いのには事情があるのですが、割愛します。彼は同棲前に、母に挨拶に来てくれています。
私は結婚は1年ほど付き合ってみてから考えたいと思っているのですが、最近、彼氏が以前に交際していた女性に、交際当時、「結婚したい」という話を何度も言っていたことを知りました。
(今すぐにというプロポーズではなく、すきだよー絶対結婚しようねーみたいな感じです)
ですが、彼氏は私自身に結婚したいと言ったことはありません。私の年齢のことも考えて結婚は意識しているよ、とは言いますが…。
彼曰く、前の彼女と本気で結婚するつもりで言っていたけど、そうはならなかったから、安易なことを口にするべきでないと学んだ、と言っていました。
私は彼氏が元カノと交際していたときも知っていて、交際当時、元カノにベタ惚れだったことも知っています。
ですが、私と付き合った時、そんな彼女を振って私に猛アタックしてきたことも事実です。
彼にも、元カノより好きな人ができると思わなかったと言われたことがあります。
その気持ちを疑っているわけではないのですが、なんとなく「元カノには言っていたことを私には言ってくれないんだ」という、いやな感情が押し寄せて自分でも嫌になります。
それ以外のスキンシップはむしろ過度な方で、決して愛情表現が薄いとかではないのに、どうして私は元カノと自分を比べて卑屈になってしまうのでしょうか。
重い考えかもしれませんが、私は、彼といられるのならば自分がこの年までに結婚したいと思っていた年齢で結婚できなくても良いと思っているし、結婚するならば彼でないといやです。
どうすれば自分に自信をもって、どっしりと構えていられるのでしょうか。