結婚生活がしんどい

私32歳、夫36歳です。出会って2年で結婚しました。子供はいません。
夫とは最近、喧嘩が絶えず家の中も暗いです。
夫はいい人ですが、空気が読めず、皆がリラックスしている場で一人動き回ったり、差別的な発言を冗談で言ってしまったりします。
後から「ああいう事言ったらよくない」と言っても、「それは君の価値観でしょ」と言います。
夫は人付き合いが苦手で、友人はいるのです。私も人付き合いが苦手な所があるので「あなたも私も人付き合いが苦手だね」と言うと、「人付き合いなんて皆苦手だよ。得意な人なんていないよ」と言います。私が過去のトラウマのような出来事を話すと「皆そういう経験あるよ。皆同じだよ」と言いました。
弁当を作っているのですが、若い男性ばかりの職場で皆、愛妻弁当を持っていっているとの事で、「ねえ、皆どんな弁当なの？」と訊くと「皆俺が食ってる弁当と同じようなものだよ」と言いました。「皆同じって、すごく傷つく」「え？俺はなぐさめてるつもりなのに」「じゃあ、家族を亡くした人に『皆一人ぐらい家族亡くしてるよ』って言ってるようなものだよ」と（少し大袈裟な表現で）言ってしまうと「俺はなぐさめるというより、言葉をかけないな」と。（私が言いたいことが何も伝わっていません）
最近転職して、新たな職場が合わず、鬱病と診断され、診断書を会社に提出し、休職中です。具体的にはめまいがあるとの事。
心療内科で軽度の鬱病と診断されました。しかし、休み中は元気でゴルフに行ったり、買い物に行ったりしています。
しかし、「一ヶ月じゃ治る気がしないから、二ヶ月休む。考えた末の結論」と言います。「一ヶ月でいいと思う」と言うと「君は鬱病のことが何もわかってない」と言います。毎日、喧嘩。そして、伝わらない。離婚の考えも浮かびます。基本、夫は優しいのですが、何かポイントが違うというか・・。こんなことで離婚は甘いでしょうか？