遠回しに仕事を頼む上司

職場で、同じフロアにいる業務内容や厳密に言うと抱えている仕事が異なる上司がいます。業務は違うけど、同じ部署なので部署内の勤怠や申請等管理する人間です。
その、業務上あまり面識の無い上司が仕事をこちらに頼む時。
「今、時間ある？」や、「これ、やってみる？」など遠回しに言ってきます。最初は、全て引き受けていたのですが、明らかに私の業務とは全く関係の無い上司の範疇の仕事で。しかも、上司が仕事を貯めて提出が間に合わないものを、一々畑違いの私にゼロからレクチャーし初め、時間も無駄に取られます。極め付けは、上司が私に仕事を頼んだのが部長にばれ、上司はお叱りを受け。その仕事を、部長が上司から取り上げた。という経緯があります。
私は、当時知らなかったのですがその上司は他部署の人間に自分の仕事を頼む事が多く、部長に目をつけられていて部長からも、質が落ちても良いから自分の仕事は自分でさばくよう言われていたらしく。

その一件があってからは、元々その上司から手伝って欲しいと引き継がれた業務意外は受けないようにしています。

今、時間ある→今は、○○業務をしています。この後○○が終わったら一区切りつきます。

どのくらいかかりそう？→まだ、目処が立たないので終わったらお声がけしますね。

という具合に、自分の業務を優先させるようにしました。
もちろん、引き継ぎされてる業務はどの程度の時間で出来るものか把握しているので、自分がどんな業務を抱えていてもその場で引き受けます。

こんな部下は、やりづらいですよね？
なんだか、自分を守らなければ振り回される相手で私も職場で疲弊しています。

他に、上司を上手くかわすアドバイスなどあったら皆さんにご教示頂きたいです。