わたしの判断は正しいのでしょうか？

29歳の専業主婦です。
現在、旦那と自分の母親（60代）と同居中。

自分の母について相談です。

母は９年前に父と離婚し、現在、妻子ある方と不倫中です。
家庭を壊さないと合意の上でお付き合いしているようなのです。
初めは母の自由なのだから…母が外でデートしている事は目をつぶってましたが、今年の初めに男性が体を壊し、外で会うと体の負担になるからと、男性が我が家に来るようになりました。あまりに頻繁に我が家へ来る為、我慢の限界に達してします。

母に「家に来るのは止めてほしい」と話した所、「嫌なら、あなた達が出て行きなさい」と言われました。
その言葉が、あまりにショックだった為、「親子の縁を切る」と、半分脅しのような形で母に男性との付き合いを止めるよう説得してしまいました。
母は縁を切りたくないし、今の状態で私を家から出すのは心配だから…と渋々、別れる事に合意しました。

母は現在、仕事を持っていて、その男性とお付き合いする事で、元気になれてると思います。
もし、男性と別れてしまったら、張り合いがなくなってしまうのかも知れません。
母には元気で居て欲しいし、幸せになってもらいたいです。
しかし、不倫という事もあり、その男性を受け入れる事が出来きません。

母の為には、私達、夫婦が家を出て、母と男性のお付き合いをさせてあげた方が良いのでしょうか？
もちろん、親子の縁を切るつもりはないので、男性と別れたら、マタ一緒に住みたいと思ってますし、旦那も母の最期を看取る覚悟でいます。

不倫だし、人道に反してるのだから止めるのは正当な行為だったのでしょうか？
それとも、先の長くない２人を自由にさせてあげるべきなのでしょうか？

ちなみに、男性は70代で奥様と別れる気はないそうです。
男性は身体の病気の為、体の関係はないようです。