風俗通いの旦那と離婚を考えています

40代パートです
旦那が20年程前から風俗に通っています。
子育て中に通いはじめたのかと思いますが、子供が社会人になって2人暮らしになっても年に4～5回は行っています、
離婚を何度か考えたのですが、子供が大学を出し終わるまではと思って、我慢してきました。
名刺が沢山出て来た時に、問い詰め一度本気で離婚を切り出したことはあります。
あと3年で退職で退職金が入ります。退職したら協議離婚で離婚しようかとも思ってますが、それまでが辛すぎます。昔はDVもありました。不満はもちろんいろいろあります。
子育てとパートでいっぱいいっぱいで、旦那にも不満があるのはわかります。
ただ、自分が情けなく毎日の生活が落ち込む毎日です。
風俗は浮気ではないと割り切り自分をごまかしてこのままの生活を我慢するか、離婚した方が良いのか、私の気持ち次第かと思いますがどうかご意見お願い致します。