子どもを諦めた方がいいか悩んでいます。

私(28歳)には歳の離れた旦那(45歳)がいます。『この人になら私のすべてを見せられる』という理由で1年前に結婚をしました。それ以前は同棲をしていましたが、最初の半年以降の5年間はずっとレスでした。結婚をすれば変わるかと思いましたがそれもなく、問い詰めると「将来的には欲しい」と言われました。
私は、子どもを作るためだけにそういった行為をするのは嫌なので、定期的に行為があった上でしか子作りの話をしたくありません。しかしその反面、旦那がいい歳なので『子どものためにも1日でも早く』とか、おそらく出来にくい体質なので、不妊治療を考えても、やはり『1日も早く』と考えてしまいます。私が騒いだかいあって、３週間に1度くらいで頑張ってはくれていますが、旦那はあまり好きな方ではないようで、何かと理由をつけて避けようとしています。ここ何ヵ月か妊娠のチャンスはあったと思うのですが、妊娠しないところを見るとやはり出来にくい体質なのだと思います。
まだちゃんと夫婦で「子作りしよう」となったわけではないですが、気持ちは焦ってしょうがありません。旦那の年齢を考えると、無理に作っても子どもが可哀想な気もします。自分が親になれるか不安ですし、痛いのは人一倍苦手ですし、甥っ子達で子育ての美味しいとこ取りはさせてもらったので、旦那に無理強いするよりは、私が諦めた方がいいのでは？と思うようになってきました。
それで簡単に諦められれば良いのですが、周りが出産ラッシュでその度に『なんで私だけうまくいかないんだろう？』と人生につまづいている気がして、辛い気持ちになります。

旦那が同い年なら、まだ余裕があるかとは思うのですが、今、産んだとしても、子どもが20歳になるときには旦那は65歳。旦那の両親は他界しているので、子どもには祖父母がひとりずつしかいません。

みなさまのご意見お聞かせ頂けると嬉しいです。