イヤホンしてるのに話しかけられる

38歳既婚女性です。
会社員で２児の母です。

元々スリムな方でしたが、さすがに産後はプニッとしたため、
元の体型に戻すべくジムに通い始めました。
週に２～３回、会社近くのジムに、
昼休みに行ってマシンで筋トレやエアロバイクなとしています。

常にイヤホンを装着していて、音楽を聴いています。
昼休みしかいないので、誰とも喋らず黙々とやり、
滞在時間40分程度でさっさと帰ります。

なのに、話しかけてくるおじさん・おじいさんが多いです。
もちろん話しかけられても聞こえないため、
イヤホンを外して「何かご用ですか？」と聞くと、
「頑張ってますね」とか「フォームがキレイですね」とか。
大した用ではありません。
無愛想に「どうも」だけ言って、またイヤホンして無視します。

そうするともう話しかけてはきませんが、
次に行くと今度は違うおじさんが話しかけてきて…
とはいえ鬱陶しいけど害はないので、まぁいいかと思ってました。

しかし今日、知らないおじいさんからいきなりキレられました。
イヤホンをしていて聞こえなかったのですが、
ん？なんか叫んでるな、と思ってイヤホン外すと、
「顔見るくらいいいだろうが！！」と。
音楽を聴いてたのでその前に何を言ってたのかわからないので、
聞き取れたのはここだけです。
関わりたくなかったので、女子更衣室に逃げ込みました。

なんなんでしょう。このおじさん、おじいさん達は。
若い女性ならわからんではないですが、
アラフォーの私に何のために絡んでくるのか…？
今日は更衣室前までついてこられ、怖かったです。

また、こういうのってジム側に言ってもいいでしょうか？
ジムは大手です。

ちなみに私の格好はTシャツ＆パンツです。
肌が見えるセクシーなヨガウエアなどではありません。
っていうか普通のトレーニングウエアです。アディダスとかの。