夫との関係

結婚６年。子どもが３人います。
長男産まれてから旦那は、職場の子と浮気疑惑。長女妊娠中も次女妊娠中も朝帰り多い。義理実家の近くに住んでる為、子育てにも非協力的。また、四人目は無理だからと話、避妊をお願いしたけど、非協力的で、生理がなかなかこなくて、不安な気持ちを話すと『もし、そうだったら、今回は残念だったということで』とさらっと言われ、色んなこと許してきたつもりだったけど、それから、旦那がだめになりました。
実家に帰りたいと話たせいか、協力的になり、彼も努力しています。
ですが、もう彼に対して、夫としてこどもたちの父親としてとかなんの期待もなく、今頃態度に出されても何も心に響かず、離れたくなります。変わろうと態度で示してくれてるけど、受け入れきれません。そんな自分にも嫌気がさします。
正直どうしていいのかわかりません。
同じような環境の方また、どうしたらいいよなど客観的な意見聞かせてくれるとありがたいです。