子供はいらないという夫

結婚して４年。出会って数ヶ月で結婚しました。 私４０歳　夫４３歳です。 　 結婚前から『子供はいらない』と言っていた彼。 当時の私はその言葉をそれほど深く受け止めず、 人の気持ちは変わる・・くらいに安易にとらえていました。 ところがこの年齢にさしかかり、急に恐怖にも似た感情がわき起こってきました。（失礼があったらすみません）何らかの理由で子供をあきらめねばならないのなら仕方ありません。でも私は何の挑戦もできず、虚しく時が経つばかりです。夫は、私の気持ちはわかるけれど、父性がわかない、離婚になっても仕方がないと言います。彼は個人の仕事で、その収入から子供への経済的責任を取れないとも思っているようです。私も頑張って働くと言ってもダメ。言えば言うほどつらい状況になります。そのうえ最近では夫の男性機能が低下して、まったくのレス。ほとんど絶望的といってもいい状況です。 こんな中、半年ほど前、夫が私の元同僚（夫が好意を持つ）女性にメールを送っていることがわかりました。度重なるメールに彼女から私に通報があったのです。夫は謝りましたが、私の悩みをよそに、そんな浮ついたことをしていたんです。 このまま数年が経ち、彼を一生恨むことになるのではないか・・かといって離婚して再婚しようと思う人と巡り合い、さらに子供を産む可能性はないに等しいとも思えます。話合って離婚も考えました。でもお互いやっぱりつらくて。でもこの感情も今だけかも。１年程ずっと情緒不安定です。最近では夫は、またいつもの不機嫌かといった感じで、普通に明るく接してきます。彼を選んだ時点で、あきらめねばならない感情を抑えかねています。どうすれば少しでも後悔なく生きられるのか、気持ちに折り合いをつけることができるのか。愚かなトピですが、ご意見をいただければ有難いです。よろしくお願いいたします。