パニック障害の私、彼との関係に悩んでいます

10年ほど前からパニック障害を患っており、未だに症状に波があります。彼氏と出会ったのは私が元気な時で、発作などなく旅行にも行きました。
しかし付き合って半年が過ぎた頃、突然の発作がきっかけで今日まで体調が優れず、だんだん彼との関係が悪化してきました。

元々私はインドアですが彼は休日は外に出たい・旅行も行きたいタイプなので、症状が再発して以来彼にずっと我慢させてしまっています。基本的にデートは家、出かけるなら車か電車で30分以内の距離、疲れて2時間でダウンすることもあり。彼は以前に比べあまり楽しそうにしておらず、申し訳ない気持ちでいっぱい。それでも車で約1時間かけて私の家まで毎週来てくれたり、無理しないでなど気遣ってくれます。

しかし先日、具体的な将来の話を初めてした際、「正直私が体調を崩してからは、一緒にいても楽しくないことが多いししんどい」と言われてしまいました。
私が元気な時は単純に楽しかった。体調を崩してから楽しいと思うことはあるが以前に比べると楽しくない。好きだからこそ気遣っているので我慢させられているという感覚ではない。付き合うというのは楽しいことばかりではないから付き合い続けている。私のことは好きだし、元気になって元通り楽しく過ごせたらという希望的観測は持っている。結婚へのハードルは多いが、結婚したいという気持ちはある。
それを聞いて私は正直、楽しくないなら何故付き合い続けるんだと思いました。付き合い続けている＝「元気じゃない私でもいい」のかと思っていたし、楽しくないのに付き合い続ける理由が「それでも私と一緒にいたいから」ではなく「付き合ってたら楽しいことばかりじゃないから」なのがすごくショックでした。

上記のような認識のパートナーだと一緒に暮らしていくのが厳しいでしょうか。私が求めすぎでしょうか。同じ病気の方やそうでない方、ご意見を頂戴したいです。