どっちをとるべき？

初めて、トピします。 私は、２０歳で軽度の知的障害があるためサポートを受けながら仕事を行っています。仕事が、嫌な訳ではありません。 ですが、業務の指示を受ける時に理解できない事があり、私１人だけ紙に書いてもらわないと間違ってしまうことがあります。その他にも計算部分を抜かしてもらったり、まだまだ出来ない事が多くあります。又、昼食時、私を含む４人で食べているのですが私が会話に入ると空気が止まってしまい、苦痛に感じてしまいます。 その事が度々あるので障害者団体の職員の人に相談した所、そこを辞めて障害者枠の職員で働いてみないかとアドバイスを受けました。ですが、場所が遠いためグループホームに入ることになります。グループホームに入ることが嫌ではないのですが、親にどう言えば良いのか分かりません。多分、両親は嫌がると思います。昔から、世間体を気にする親でした。その時は、障害者団体の職員の人についてきてもらうつもりですが私は、今の仕事を辞めるべきでしょうか？私としては、自立もしたいし、仕事は苦痛なのですが、職場の人に嫌がらせをうけたり苛められたことはなく優しいので、どうしたらいいか悩んでいます。 どうか、アドバイスをお願いします。