夫との接し方がわらかない

こんにちは。妊娠6カ月の主婦です。
五回目の体外受精で妊娠しましたが、陽性反応が出たその日に、夫から「愛人が妊娠4カ月で、生活費を出したい」と言われました。その後、愛人は中絶し、弁護士を通して書面の取り交わし（妻から愛人には慰謝料を請求しないが、次に関係を持ったら違約金を支払うなど）などを行っていましたが、合意せず、こちらから支払った金銭も受け取っていないとごねて、訴訟へと弁護士がすすめています。

夫は、愛人の現在の姿をみて、本当に向こうに行かなくてよかった、妻に救われた、と涙を流して謝罪をし、一生許してくれなくてもいいから側にいてくれ、と言い、妻の私と、今後の生活についての同意書を弁護士を通して交わしました。

わたしは、心療内科に通い、カウンセリングを受けながら、時に睡眠薬や安定剤を服用しながら生活しています。
身寄りがなく、持病があり、当初は離婚をどうしようとか、中絶したほうがいいのかなど苦しみながら日々を過ごし、いろいろな考えを思い直して今日まで至りました。

7年子供がいなかったので、主人がつらかった気持ちがわかります。わたしもつらかったです。
そして現在、夫は今までで一番、私の話を聞き、向き合ってくれてることが、よくわかります。

しかし、わたしは、毎日とても苦しく、夫を許すとか許さないとかではなく、この人と一緒にいたら、一生もやもやと苦しむのではないか、と考えています。
苦しみながら夫とやり直そうと思っても、1時間後には気持ちがブレるような感じです。

子供も、胎動を始めて感じた時、何があっても一生守る、と思ったのに、落ち込みがひどいと義務的に育てることになってしまうかも、と思うことも正直な気持ちです。

何というか、単純に、感想とかご意見とか、お聞かせ下さい。
よろしくお願いいたします。