夫が離婚に同意しない

夫が原因で離婚します。
養育費や慰謝料などちゃんと決めておきたいので、私は調停離婚が希望でしたが「そんなもん俺は行かねー。」と断られましたが公証役場で公正証書に残すならいいと言われました。

慰謝料・養育費を払う条件に、私が生涯結婚しない。生涯彼氏を作らない。
を明記しろと要求されました。
子どもが成人するまでならまだわかりますが、これっておかしいですよね？
嫌なら離婚はしないと言っています。
離婚したいと言ったのは私ですが、その原因を作ったのは間違いなく夫なんです。
（生活費を渡してくれなかったり、貯金を勝手に使ったり他）
養育費などは当てにしていませんが、私と子どもが勝手に引き出されたお金だけは返して欲しいと思っています。合計170万円。

このままこの状態をダラダラ続けていくか、このお金を諦め協議離婚し一切の連絡を絶つか、夫の条件をのむか。
今悩んでいます。