人間関係について

正社員、25歳女性です。 総務関係の事務職に転職して1年経ちました。 10人程の小さな会社で異動がないのですが、職場の人間関係で悩んでいます。 ・直属の上司Aがアスペルガーのような言動が多く、精神的に苦痛（例えば空気を読まない発言があったり、人の話を聞いていなかったり、オウム返しが多い、説明をする際に文字に起こさないと理解してもらえない等） 直属の上司のため関わらないように仕事をするのは難しく、更にその上の上司に相談しても、「みんな我慢し続けてるんだ」と言われて終わりです。 上司Aは50代男性、既婚です。 いつもため息をついて、ご家庭の愚痴を聞かされます。 家でも奥様やお子さんに相手にしてもらえず、一人ぼっちだそうです。 異動がないためこの状況がずっと続くのかと思うと耐えられず、周りも見て見ぬふりなのもとても辛いです。 私はどうすれば良いのでしょうか？ 自分が変わるしかないのでしょうか？