再構築から３年、離婚したい私としたくない夫

旦那の職場不倫→発覚→水面下→発覚　から３年経ちました。当時は離婚するつもりでしたが子供達がまだ幼かったため思い止まりました。 夫にはもう尊敬も信頼も関心も愛情も、何もありません。不倫なんてよくある話ですが、タチが悪かったです。それでも少しだけ残っていた情だけで今までやってこられていたのですが、再構築中にも色々なことがあり、もう心が限界です。今回ばかりはもうここまで気持ちが来てしまったら終わりじゃないかなと自分で感じています。 夫は私の顔色ばかり伺い、機嫌が悪そうだと色々頑張るのですがどれも的外れです。私的にはもう好きではないのでなるべく一緒にいたくないのですが、夫は私に近づこうとしてきます。 顔も合わせたくない、会話もしたくないという状況なのに、子供のことでどうしても業務連絡的に話さないといけなくて話すと機嫌が戻ったと思ってスキンシップしてきて、それも苦痛で苦痛で耐えられません。 もう終わりだと思ってはいるのですが、子供から父親を奪っていいのか、離婚した後の子供たちとの生活の基盤はどうするか（義両親宅が真後ろにある持ち家には住み続けくないが子供を親友から離して転校させるのは可哀想・・）など考えるとなかなか踏み出せずにいます。 同じように再構築から離婚された方の経験談などあればお聞かせいただけませんか。