人前で手持ち金の額を確認する行為

先日、交際している年上の彼氏に、手持ちのお金の額を聞いてしまい、ものすごく怒られました。
もちろん、人の所持金について不用意に聞くべきではない感覚は私にもありますし、基本的に自分からそういう話はしません。

詳細を書きます。
その日は彼と車で遠出することになっていたのですが、彼氏は出発前と、車の中で「俺は今日、財布の中に5000円しかないから、お金がかかるようなところには行かない」と何度か言っていました。
彼は普段一緒にご飯を食べに行く時などに、たびたびこのような冗談を言う(そして本当はもっとお金を持っている)ので、特に気に止めませんでした。
しかしドライブ途中で寄った喫茶店で、スマホで今日の目的地について調べていたところ思ったよりもお金がかかりそうだ(5000円では足りない)と言うことが分かりました。
一緒にいるのが他の友人などであれば、足りない分は私が出せば良い話なのですが、彼はプライドがあるのか、年下や彼女にお金を出させるのを嫌います(前に食事代を私が持とうとすると怒られました)。

すみません、文字数が足りなくなりましたので、コメント欄に続きを書かせていただきます。