なんで今更？？支払う義務あるの？

トピを開いてくださってありがとうございます。

まず、私の父は2年前に亡くなりました。父のお父さん（私から見ると祖父）は約20年前に亡くなりました。
その祖父が亡くなった時の遺産相続のことなんですが、父は2人兄弟で兄がいます。相続した中に土地があったのですが、その当時父には相続税を払う余裕がなかったので兄が支払ってくれました。その土地を売却して利益が出ればその分は父に返すということで父と父の兄の間では話が済んでいたそうです。

しかし、父がなくなって2年ほどたった今になって父の兄が「相続税を払ってあげてあるから返して欲しい」と言い出しました。
このお金は父の兄に支払う必要はあるのでしょうか？
借用書もありませんし、母もこの件は父から聞いただけでよくわかっていません。
当の本人も亡くなっているのでわかりません。
もう20年も前の話で今更言われても支払う義務がないように思うのですがどうなんでしょうか？