時間に厳しい私はたかり屋？

私の周りには遅刻をする人が多いです。今付き合っている彼も遅刻をします。待ち合わせ時間を過ぎても家にいるというひどい遅刻に対して本当に腹が立ち「これから遅刻をしたらその日のデート代を全額だしてもらう」というペナルティを課しました。
それ以降目立った遅刻はなかったのですが、先日待ち合わせ時間を過ぎて私が彼の家に行って起きたという遅刻をしました。そこでこの約束を守ってもらおうとしたら「いつも俺にたかる！ごはん奢ったってるやん！せめて昼ごはんだけにしてよ。」と言われました。
私は彼に「ご飯を奢って」とか物をねだったりしたことはありません。たまに奢ってくれるのは彼の好意だと思ってたのにこういう時に「奢ったってる」という切り札で使われるならはじめからすべて割り勘でかまいません。この「たかる」という言葉に腹が立って二度とそんなこと言われたくないと思い「私がいつ何をたかったのか言って！返すから！」というと遅刻のペナルティーがデート代の負担といわれたときから私のイメージが‘お金’になったと言われました。「罰なんかお金じゃなくても他にある」というので例えを聞くと「その日はずっと手をつなぐとか」と言います。確かに私はお金への執着は強いほうですが、遅刻をされて一番に「デート代浮いた」なんて思っていません。私が「デート代負担」としたのは遅刻は直らないので時間を守ることへのプレッシャーになるものが必要だと思ったからです。
この日私が迎えに行った時も一言目は「ごめん」ではなく「今起きたよ～」でした。でも私もそれに対して「いいよ、私今日デート代払わんから」と言ったので余計に‘なんでもお金’と思わせたんでしょうが。自分の心が狭いのは分かっていますが遅刻を繰り返す人が許せません。そして私には他にいい策が思い付きませんでした。
みなさんのご意見をお聞かせください。