彼のご両親にお付き合いを反対されています。

私は3人兄弟の母子家庭です。一番下の弟は軽度の障がいがあります。遺伝しないと言われる病気です。
お付き合いをして2年半になる彼がいます。22歳で今年無事に就職先が決まりました。彼のご両親とは食事へ行ったり仲良くさせて頂いていましたが、2年目の時に、弟に障がいがあることをお話しすると、ご両親はそれ以降別れなさいと彼に言っているらしいです。就職時期と私がご両親に話した時期が重なり、就活を終えたことで彼の態度が変わってしまった、弟の病気のことで悩んでいたとは知らず、ささいな喧嘩で別れると言いました。しかしすんなりと認められ、何か違和感を感じて何かあったのか聞くと、ご両親に反対されていると。ご両親だけでなく親戚の方々からもだそうです。 本当に悲しく、障がいの持つ弟がいるだけで、なぜ拒否されなければならないのか…今まで言わずに黙っていた彼を思うと本当に胸が痛みます。彼が心配しているのは、彼の兄弟が親戚に障がいの子がいて結婚を拒否されるかもしれないということ、そして大勢の命を預かるお仕事でストレスをためたくないということでした。
彼のことが本当に好きです。母にこのことを相談したのですが、この話をすることで母を傷つけてしまった気がして本当に後悔しています。誰も悪いわけではないし、友人に相談するにも重い話になってしまう気がして誰に相談したらいいのかわからず、今回この場を借りさせていただきました。彼もこのままお付き合いしたい、結婚もしたいと言ってくれているのですが、やはり自分だけが幸せになることは難しいかもしれないと言っています。このままご両親に理解して頂けるまでお付き合いをしていいのか、早くに別れて彼が新たな人とお付き合いをした方がいいのでしょうか、このままお付き合いをしていて結婚できるのでしょうか。