12歳年上の彼

彼との結婚について、相談したいです。
私23歳、彼35歳。付き合って半年になります。

私が25歳までは遊びたい（旅行など好きな事をしたい、子供も25歳過ぎたらがいい、という意味で）
じゃあ25歳になったら結婚しようね、と仕事や節約など頑張ってくれているし、25歳になるまでたくさん二人の思い出作ろう、といろんなとこに
連れて行ってくれます。
すごく愛されているのが分かるし、私も彼が大好きです。
不安や不満は何もないし、一緒にいるだけで幸せを感じさせてくれる人です。

だけど、歳の差12歳がすごく引っかかるんです。
最近になって、私が不妊症だという事が分かりました。
今は子供はいらないけれど、ゆくゆくは子供もほしいです。

私が25歳過ぎてから作るとなると、彼は37歳過ぎ・・・。
そこから子供を作るために頑張って、と考えるととても不安です。
若いパパのがいいのか・・等と考えてしまいます。
私の不妊の事は彼も知っていて、「焦る事ないよ、その時が来たら二人で頑張ろうね」と言ってくれています。
こんな優しい彼を前に、やはり歳の近い人がいいのかなぁと考えちゃうんです。
今は歳の差なんて気にしてないですが、将来子どもが出来た時の事を考えると不安で仕方ないです。
歳を取れば取るほど、歳の差という壁が頭をちらついて離れません。
最低な話、周りが近い歳の人と結婚している為12歳年上・・・というのが
恥ずかしいというか人の目が気になってしまいます。
私は若いのに旦那さんは歳いってるわね・・と思われるのが怖いです。

歳の差があり結婚を考えている人、もしくは結婚して子供がいる方等に
ご意見聞きたいです。お願いします。