職場の上司について

職場の上司について意見をお聞きしたいです。 21歳の事務員です。 上司は40代後半でお酒・ギャンブル・タバコ・女性がすきなイケイケタイプで女性にモテる方です。いろんな女性と遊ばれています。 仕事ができるので稼ぎが多く気に入った女性には物を買ってあげたり、いいお店にご飯に連れて行ってあげたりしているようでわたしにも洋服を買ってあげるから一緒に買い物に行こう、ご飯連れてってあげる等と誘ってくださいます。 しかし私は恋人がおり同棲もしていて家族でも友人でも恋人でもない方に高価なものをいただくのに抵抗がありますし、いい上司で仕事上では尊敬できるのですがプライベートでは親密になりたくないというのが本音でいつもやんわりとお断りしていました。 先日また同じようにお誘いがありまして断ったところ急に「迷惑そうだからやめる」と言われわたしは「ほかの女性にお金を使ってください」と答えました。 すると「今まで仕事上で優遇（実家が地方なので長く帰省できるようにお休みを長くくれたり、仕事が暇なときは早めに帰らせてくれたりと気遣いをしていただいていました）してきたことも迷惑だろうから今後やめる」と言われ怒らせてしまいました。 どうして急に怒らせてしまったのでしょうか。今まで一度も怒らなかったのにわたしが迷惑ではないといわなかったからでしょうか、断り続けたからでしょうか。どうすればよいのかわかりません。 怒らせてしまった次の日は普通に会話をしましたが放っておいていいものでしょうか。