お年寄りに席を譲られたら？

先日母子三人で電車に立って乗っていました。子ども達は四歳と二歳で、二歳はベビーカーに乗っていて四歳はそのベビーカーにつかまっていました。その時そばに座っていたおばあさん(八十歳くらい？)から
「ここに座ったら？」
と席を譲られましたが、元気漲る子どもよりそのおばあさんこそ座っているべき感じだったため思わず
「次降りますので大丈夫です」
と断ってしまいました。でも後で降りる時とても悲しそうでした。こういう場合普通に譲ってもらった方が良かったのでしょうか？

次にもし似たような場面に遭遇した時どうしたらいいのか知りたいです。

よく「席を譲るのはとても勇気がいる事だから断らず好意を受けるのが良い、でないと譲ろうとした人はまた断られると思って二度と譲らなくなる」と聞くので普段は譲られたら「ありがとうございます」と座っていました。
あと一度臨月で上の子を抱っこしてバスに乗っていた時やっぱりおじいさんに席を譲られて、その時は本当にしんどくて譲ってもらった事があります。