離婚か、もう無理？このくらい？

子供3人、20数年喧嘩もするけど、比較的仲の良い夫婦で過ごしてきました。
20年間何度も議題に上がった主人の趣味ですが、私も譲って認めて我慢して主人のやりたいように時間を過ごさせているつもりです。

主人は30代半ばまでは365日全てが趣味の時間でした、平日夜1～2日と土日朝から晩までが趣味で外出、その時間を取るために平日は毎日残業。
30代後半からは土日両日の半日程度に回数は減りましたが、週末は必ず趣味のために出かけますので8日/月以上です。

この間、私は3人の出産と子育てや受験、仕事をしながらのPTAや習い事の付き添いなどいわゆるワンオペでした、言えばやってくれる主人ですが言わなきゃやらない人、パートナーが仕事でワンオペは良くある状況だと思いますが、家は主人の趣味でワンオペ状態。

私は国家資格を保有していますがキャリアも諦め、3人目出産を私は否定したものの主人が
「自分が精いっぱい子育てするから産んでくれ」と懇願されて作りました。

昨年末ごろからまた、喧嘩が続いていますが主人に言われた言葉で、もう糸が切れました。

「趣味の時間を削ると約束したのはお前に脅されたからで俺の本意ではない」

→喧嘩の中で私が強い言葉で強要するような態度があったのは事実です、が、互いに熟考し長時間かけて話し合い結論を出した「家族の在り方」に対して自分を被害者、私を加害者にして翻す態度に興ざめしました。

時間をかけて家族の在り方を話し合った時の主人の姿勢は、「脅されて」というものではなかったように思います。数年たった今、子供達が成長し手が離れ家族の在り方が変化してきたので、主人はまた趣味の時間を増やしたくなった、趣味に時間を割けない不満から
「お前に脅された！！」
と怒っているように思います。

「ふだん俺は温厚なのにお前のせいで！！！」
と怒鳴られます。
どうすればよいか分からなくなっています。