趣味や遊びに行くことで彼氏が不機嫌になる

彼氏とは数ヶ月付き合っていて遠距離です。
私の現状をまずお話させてください。
私は今借金が少しあり夜のお仕事で稼いでいっている状況です。
彼氏もそのことは知っており、将来の結婚を考えた上で自分も仕事を頑張る、と言ってくれていました。

そして本題なのですが、私の趣味はライブに行くことで、以前はお金のことをあまり考えず行っていたので現状このような形になってしまっています。
その為現在はお金の使い方もかなり見直し月1回程度ライブに行く状態です。
お金の使い道としてはライブに行くのみで洋服などのお買い物なども全くしておりません。
この一連の話は全て彼氏にはしているのですが、ライブの時はおろか日常で友達とご飯に行く、などの遊びのときでもそれを伝えると急に不機嫌になり返信にあからさまにその様子が出ます。
1度その話について深く話し合ったことがあるのですが、「自分はあなたとの将来を見据えて仕事を頑張っているのになんで遊びに行くのか」 「遊んでばっかりでずるい」などと言われました。
さらに｢あなたがそうするなら自分も我慢してた遊びなどをする｣ と、しばらくはわざとらしく高い買い物をしたことなど報告してきていました。私は彼氏が趣味や遊びに行くことに対してなんの感情もありません。

私としても遊びに行くそれ以外の日は働き詰めでお金を稼いでおり、まだ2人の将来のために貯金などというフェーズには行けていませんがまずは借金から返そうと頑張っています。
正直はっきりとは2人の将来については考えられていない状態です。
その中で月数回の趣味や日常の友達とのご飯の度、不機嫌になってしまうのでこちらとしてもモヤモヤしています。
お互いの楽しみは楽しんできてね と言いあえればいいのに、と思ってしまいます。
これは私がダメなのでしょうか。