母と弟が発達障害です

タイトルにもある通り、私の母と弟は発達障害です。
私はそんな母と弟が嫌で高校を卒業してから一人暮らしをしています。現在25さいです。
母は
・片付けがとにかくできない
・短期記憶が乏しい
・不明言動(幼稚な発言や行動）が多い、ヒステリーを起こしてしまう

一方弟は
・引きこもりで人との関わりが苦手のため就職ができずバイトをたまにするくらい

そんな母と弟の面倒は父が行っていたのですが、数年前に他界し今は母と弟の2人暮らしになっています。

年に一度程度実家に帰省するのですが、家は荒れ放題、物は捨てられず溢れかえっており、ご飯もまともに食べてないみたいです…。
今の時期は年末調整のやり方が分からないと母から「これができない！やって！」「そんな事言われても分からない！」など書類で分からないことだらけらしく何でもかんでも私に聞いてきます。最初は可哀想なので丁寧に説明しますが、何度も同じ質問をしてきたりどれだけ優しく説明しても理解できないみたいです…。

正直、母も弟も可哀想だなと思うのですが
関わりたくないとも思ってしまいます。
親戚も頼れないため、本当に孤独で辛いです。