怠け者の夫との今後

30代後半、子供無し、共働き夫婦です。 1年半ほど前から、主人の収入がおよそ半減(時によってはそれ以上)しました。 それに関して、夫は危機感を感じていない様で、1年半たった今でも、状況改善に向けての努力が全くみられません。 自営業のようなものなので、時間はたっぷりあり(夫の週の実労働時間は2～4時間程度だと思います)、知り合いのビジネスを手伝う等、その気になれば、収入減を補う仕事をする機会はあるにも関わらず、ほとんどアクションを起こそうとしません。 確かに、今迄のところ経済的には支障をきたすような状況にはなっていませんし、私が今の仕事を続けていく限りは、今後も、贅沢は勿論できませんが生活が立ち行かなくなる…というような事にはならないと思います。 ただ、私としては、自分だけがフルタイムで一生懸命働いて(残業等も多い)、40代前半の健康な大の男が半隠居生活…というような今の状況に、どうしても納得がいかず、離婚を考えています。 1年程は様子をみるという約束だったのでしばらくあまり口を出しませんでしたが、1年半以上たった今でもなんの努力も変化もみられないので、最近は、我慢できずに文句を言って喧嘩になってばかりです。 家の事は多少は手伝ってくれますが、自主的でなく、私が仕事を頼むと(何かしらやらせないとイライラするので)、「僕は君の召使じゃない。」と逆ギレします。 1日中何をしているのか不明ですが、私が帰宅すると、大抵、仕事帰りに家に遊びに来た友人と1杯やっています。 夫の事はまだ好きといえば好きですが、彼のだらしのなさ、責任感のなさにはウンザリしています。 夫が低収入でも頑張って働いていてさえいればまだ納得いきますが、私は基本的に「働かざるもの食うべからず」という考えの人間なので、怠惰な人には我慢ができません。 この状況で離婚を考えるのは身勝手でしようか？