新たな人を見つけて結婚したいのに

付き合って3年程の彼が居ます。

彼は私の良い事も悪いことも理解してくれ、とても心地が良い存在です。

でも、彼の育った環境が私とは違いすぎることや、
彼の実家の両親がいろいろと問題がありそうな方であること、
彼の性格の一部で私がどうしても受け入れられない部分もあり、
この人と一生一緒に暮らすのは無理と私の中で思い、
その時点で正直に彼に伝え、別れを切り出しました。

彼はそれを受け入れましたが、とても悲しんでいて苦しんでいました。
しばらくして彼から電話があり、
尋常ではない程苦しんでいる声を出してすぐに来てくれと言われました。
すぐに行くとのたうちまわっていて脂汗が出ていました。

すぐに救急車を呼び、病院に行くと国の難病指定を受けている病気だと言われました。
実は彼は数年前にその病気を発症していて、しばらく様子を見るように言われているという話しを聞いていました。
前回も強いストレスがかかった時に発症し、今回も私との別れというストレスがきっかけで発症したのかもしれないと思います。
国の難病指定という言葉が重く私にのしかかり、
彼との結婚が考えられないだけで、彼への愛情がなくなった訳ではなかったので必死で看病し、
その後結局彼にすがりつかれてまたヨリを戻してしまいました。

その後症状は安定していますし、仕事も普通にできているようです。

ですが、私は彼と一緒にいることは楽しいし、自分も安心していられるものの、
一度別れてから彼とのキスや体の関係がどうも嫌なのです。
こんな状態で付き合っていてもと思っても彼のことを思うと別れられません。

新しい恋愛をしてそろそろ結婚をしたいと思っているのですが、
ここから抜け出せそうにありません。

彼を振り切るべきでしょうか？