前の上司のせいで干されそうです

中年のパート主婦です。
４月の組織変更で、上司が出世し、本部に栄転しました。
私も別の部署に異動になりましたが、前の上司が今でも仕事を頼んできます。

残務処理に関することは仕方ないにしても、近々別の仕事も
頼みたいと言うので、「部署が違うからできない」と答えると、
今の上司には『業務に支障がない範囲で』ということで、
話は付いていると言うのです。

そのためか、今の部署で仕事らしい仕事がありません。
社員の方に、仕事はないかと尋ねても、「あなたの仕事は上司が直接
依頼するから」と言われ、電話すら取らせてもらえません。
肝心の上司からは、合間にできるような単純作業しか言われません。

私はパートなので、命令系統がおかしかろうが、仕事が何だろうが、
かまわないのですが、困るのは「周囲には言わないで欲しい」と
いうことなのです。

私は『言えない仕事をやっている人』ということで、疎外されるのが嫌なのです。
いずれバレますのが、皆さん気付かないふりをしてくださると思うのです。
『自ら話す』と『バレる』とでは、印象が大きく違います。

でも、自分から話して、今の上司との信頼関係を初っ端から崩したくないです。
どうしたら良いでしょうか？