男性不妊で子供をあきらめるか迷い続けています

初めての投稿です。 私は現在38歳です。男性不妊の為、不妊治療を続けて来ましたが体調を壊し、もうやめました。 タイミングは2年、人工授精を5回程しましたが妊娠せず、ドクターからは顕微しか方法はないといわれ躊躇しながらも、体外受精の説明会に行ったところ、沢山の人がきていて励まされたのか、ガンバロウ！という気持ちになりすぐに病院に行きました。　しかし私がネットで3日間色々調べ続けて不安になりその日の夜に倒れ救急車に乗りました。 それ以来、顕微が望みの一つだったのに、恐くなり、しばらくは顕微とか妊娠の文字や子供や妊婦をみると具合悪くなる始末でした。。 それまでは前向きに楽しく治療していたのに、その日を境に一転してしまいました。 旦那が50歳前半ということもあり、子供はいてもいなくてもいいといいます。（治療には積極的でした） 今でもめまいに悩まされ、仕事も辞めている状態です。 わずかな希望でだめもとでもいいから、自然にまかせよう。ということも話し合いましたが、お互いが高齢なので、子供は健康か？等と、だんだん子供を持つこと自体が恐くなりました。 ずっと同じことを考えて答えがでないので、皆さんの意見を聞かせて頂こうかと思い質問しました。 起こるかわからない不安を心配して子供をあきらめるのはおかしいですよね？