離婚する方がいいのか迷っています

夫と別れるべきか悩んでいます。
20代半ばの夫婦で結婚して2年目です。4年付き合って結婚しました。最近夫とこれからやっていけるのか、一緒にいて2人が幸せなのか悩んでいます。

去年体調を崩しパニック障害と診断され仕事も辞めてしまいました。
夫は仕事上あまり家にいない事や体調がだいぶ悪い時期で大変だったので夫にも相談して、実家に帰らせてもらっていました。体調が良い時は家事をしに帰ったり、夫と一緒に出かけたりもしていました。現在は自宅に帰っています。夫には色々迷惑や寂しい想いをさせてしまいましたし、働かなくても大丈夫なようにしてくれてて感謝しています。
ただ、出先で体調が悪くなる事もありそんな時に夫が嫌な顔をして冷たかったり、病気のことで暴言やきつい事を言われてしまった事があり、自分が迷惑をかけているし夫もイライラしてしまうのはしょうがないので何も言えないのですが、そんな夫を嫌いになってしまいそうになります。気持ち次第で病気なんてなんとかなると。。。私の病気に耐えらないなら離婚になっても仕方がないし、私も暴言いわれたりストレスだと病気も治らないと話したこともありますが、夫は離婚はしたくないと言って言葉には気をつけると言ってはくれましたが、、、。夫はよく愛してるなど言ってくるのですが、私には勝手だけれどあまり実感できずにいて、逆に聞かれても即答できない自分がいます。これから先、生きてく上で色々な出来事があると思いますが、夫と乗り越えていけるのかな？とか一緒にいる意味が分からなくなって今悩んでおります。
読んで色々な厳しいご意見もあると思いますが、結婚されている方や離婚経験がある方など相談というかご意見いただきたいです。宜しくお願いします。