絡んでくる先輩男性への対応

３０歳女性、総合職で働いています。
今年からあるプロジェクトチームへ配属になりました。

表現が悪かったかもしれないのですが。。
トピタイトル内容の通り、先輩男性（４０代半ば）（Aさんとします）のことでご相談させてください。
うまく、かわせる方法を教えて欲しいです。

Aさんは、私の直属の上司ではありませんが、私のグループを含む複数グループを統括する立場です。高学歴のとても頭のいい方ですが、天才肌といいますか、ちょっと変わった方です。

その方が時々、仕事中の私の横にやってきて、仕事の進捗はどうか？と聞いてきます。それが、とてもストレスです。数字を扱う業務をしているのですが、
エクセルファイルに修正が必要だと気付き、それの対応をしていると、『まだその業務をやっているのか？』等。ちょっとしたエクセル作業をしていても、その内容を聞いてき、その意義は？と問うてきます。一から説明させられますが、結局腑に落ちない顔をして去っていきます。

私の仕事スピードは確かに決して早くはありません。ただ、決して遅いわけでもなく、同じチーム内では十分に働きを認めてもらえています。

最初は、統括の立場から、進捗の確認をしているのだと思っていましたが、最近は絡まれているとしか思えなくなってきました。

Aさんはなぜか私だけに、しかも必ず、私の上司がいない時に聞いてきます。

これまでは、なるべくきちんと細かく、Aさんに説明していましたが、今日はほんの数分で終わる作業をなんやかんやと言われ、帰る時間も遅くなり、とうとう限界だと思ってしまいました。

今度近づいてきたら、
黙る、立ち去る、その質問になんの意味があるのかと逆質問、あなたの質問を受けるのが怖いと言う、等々、これまでとは違った対応をしようかと考えています。
仕事人として、うまく対応するにはどうすればいいでしょうか。