断れないって・・・

ジャンルが違っていたらすいません。

職場での相談です。
Ａ先輩（男性・３６才既婚）は１年半ほど前に隣の課に異動しました。
私の課に気の強い女性の先輩（Ｂ先輩・５２、３才独身）がいて、
事あるごとに、部署異動したＡ先輩に色々と頼みごとをしているようです。

私の課の他の社員は、仕事にならなくなってしまうので
Ｂ先輩の馴れ合いをほぼ無視（気づかない振り）をしています。
私の課にいた時から、Ｂ先輩の馴れ合いに付き合って
残業時間が増えてしまっていたＡ先輩ですが、
部署異動しても、Ｂ先輩に捕まってしまって困っているようです。
捕まるというのは、例えばＡ先輩が他部署に行こうと席を立つと、
「どこに行くの？私も行く！帰りについでに〇〇課にも付き合って」
というような感じです。
（言うまでもなく、Ａ先輩は〇〇課に用はありません。）

それを私の課の社員に嫌だと訴えてくるのです。
気の毒だなとは思いますが、
もう良い大人なのだから、あからさまに断らないまでも
やんわりと回避できないのかな…と思ってしまいます。
同じ課にいる私たちですら、ギスギスしないようにうまく回避しているのですから・・・

それぞれの課の上司が見ていないところで行われているので、
私も本人から話を聞くまでは連れまわされていることは
知りませんでした。
ちなみにＡ先輩の課の上司には相談したそうですが、
自分の見てる前で言われてたら注意するけど、
見えないところでやっているなら、自分で言わないと駄目だと言われたそうです。

嫌だけど性格的に自分では断れないと言われて、
「でも、それはＡ先輩が断るしかないと思います」
と言ってしまったのですが、私は残酷ですか？
最後になりますが、Ｂ先輩は付き合っている方がいますので、
Ａ先輩に恋愛感情はないと思います。