離婚に踏み切りたい

主人とは結婚して20年になります。 私は妊娠～出産までは専業主婦でしたが、子供が3才の頃から夜間のパートに出ました。 若かったこともあり、収入が少なかった為です。 その頃、主人の会社(勤続13年くらい)が危なくなり、退職せざるを得なくなりました。 無事転職できましたが、5年程で人間関係が無理になり辞めてしまいました。 次もすぐ決まりましたが、今度は2年程で辞めました。 収入が少ない、人間関係が嫌。等の理由です。 転職するたびに収入は少なくなる一方でした。 私は2人目出産後、夜間のパートは継続、子供が幼稚園に入ると昼間のパートも始めました。 主人が転職活動をしてるとき、ハローワークに行くように勧めました、、、が、 ハローワークに行くことを頑なに拒否し、友達からの紹介で今の会社に決めてしまいました。 ハローワークは人生終わった人が行くみたいで嫌だと訳の分からないことを言っていました。 この辺から私の気持ちは冷めてはいましたが、子供もいたので、なんとか耐えていました。 しかし、やはり年収は上がらず、初任給くらいの収入しかありません。 私はこれは自立しなければと転職活動を頑張り、なんとか正社員で就職することができました。 主人の帰りの方が早い為、平日の夕飯作りは任せています。 でもそれが不満みたいで、度々ケンカになります。 「お前の帰りが遅いからやってやってる」と言われたこともあります。 休みの日は何にもしないでゴロゴロしているだけの本当に面倒くさがりな人です。 この先、子供が巣立ってから2人で過ごすと思うと苦痛でしかありません。 子供は上が専門生、下は中学生になりました。 下が高校生になるタイミングで離婚したいと思っています。 子供に悪いなとは思います。 私が我慢すればいいだけでしょうか。