私は事務なので、自分の仕事が終わらなければ残業になってしまうのは仕方のない事です。
なので
＞職場は繁忙期で残業する人は多いですが強制ではありません
の意味がよくわかりません。

雇用によっては、残業してはいけない立場の人がいるので、そういう人には定時近くに急ぎの仕事は頼みません。

その人は、トピ主さんが終わらなければ残業をするべき雇用なのに、個人的な理由で免れているから、そこを『何で？』とつっこみたくなる変な人なのではないですか？

周りに人も、その人が変なことをわかっているのなら敵にまわしても怖くないので、正当な理由があるのならキッパリと説明すればいいことです。

後ろめたい理由ならトピ主さんにも落ち度があるのだから、五月蠅くても我慢するしかないですね。

と言って無視すれば十分です。

私ならこう言います。

「それについては前にもあなたに同じことを聞かれて説明したはずです。にも関わらず、何度も繰り返し同じ質問をされて、いい加減ストレスです。もう一度だけ言いますから、しっかりと聞いて覚えておいてくださいね。私は家庭の事情で週１回２時間しか残業出来ないんです。代わりに休日出勤しています。今度こそしっかり記憶していただけましたか？これを最後にもう二度と同じことを聞かないで下さいね。次は私ももう答えません。」と…。

そこまで言えない、もしくは言いたくない相手であれば「前にも聞かれて理由を言いましたよね？それです」と、言って会話終了。
その後も「前と一緒です」としか言わない。

繁忙期にほとんど残業しない人がいたら、ちょっと気にはなります。

でも、その理由を一度聞いたら、もう二度と聞きませんけどね。

その人の目的はなんなんでしょうね、

仕事のあとのプライベートが気になるのでしょうか？

今日はデート？誰かと飲み会？まさか自分を誘わずに！？とか考えてるのか…？

もしくは、更衣室での世間話くらいの気持ちで、たいした意味はないとか。
あー、今日はもう帰るんだー、残業しなくていいの？とかいう軽い感じだったら、ただの挨拶なのかも。
だからトピ主さんが言った理由も、雑談の一つとして忘れてるとか。

世間話なら、そうなんです、忙しいんですけどねー、今日は帰りますーって、適当に答えておけば？

その人は言ってみればトピ主さんとは立場が違う部外者ですよね。

トピ主さんと職場の上司が互いに納得しているのならば、その人には関係のないことです。

納得させようとしなくていいんです。
逆に「どうして何回も同じ質問をするんですか～？」って聞き返してみては？
何度も同じことを聞くということは、もしかして認知症だったりして。

　正面から「何で上司でもないのに(残業しない理由を)聞くの？」ってぶつけては如何でしょうか。
　誤魔化して逃げるから追いかけてくるんです、犬と一緒。

　その人が何故何回も同じことを聞いてくるのかわからないけど…「以前にも同じこと答えましたよ。」とそっけなくすればいいだけじゃないかな？
　おそらく家庭の事情というのがその人にとって納得のいかない理由だったのか他の人にも聞くということは単なる興味本位かもしれないけどトピ主さんは休日出勤して仕事の遅れを取り戻しているんでしょ？これもれっきとした残業だよね。
　直属上司が期日のある仕事に対して残業を命じたわけではないんだからね。
　他の人も同じ質問で辟易しているんだったらみんなで「なんでいつも同じことばかり聞いてくるの？」と聞き返したらどうかな。

どうして残業しないのか聞かれたら

「残業しませんが、何か？」

「理由、必要ですか？」

「前に言ったのと同じです。あなたが忘れてしまうくらい些細なことなので、おかまいなく」

無理だと思います、、。
私の前職場にも、そういう人がいました。
（残業ではなく欠勤・早退の理由を知りたがってました。）
その方は周囲の人の予定を100％知っていないと気が
済まないらしく、、。
周りに嫌われてました。
そういうコミュニケーションしかできないんだと思います。
最初は真面目に答えてましたが、途中から「なぜ聞くんですか？」
「あなたに話す必要ありますか？」・「あなたには関係ないでしょ！」
と答えていました。