成分がキツいのかもしれませんよ。
成分表が脱衣所に掲げてあるので、面倒ですけどメモしておいて、自分の合わない成分を特定する、とか。
あと、衛生上、プールと同じように塩素使ってる所も多いらしいですよね（義務つけられてるのかな）

それから、冬は肌が乾燥しています。
乾燥で肌のバリア機能が低下しているところへ、成分が色々と含まれている熱いお湯に体を浸すのですから、肌が痒くなったりすることも、素人ながら考えられる現象です。
４人が同時に肌が赤くなって猛烈に痒くなったというのは、ちょっと普通じゃないのでホテルの支配人に直接申し出たほうが良かったので？
以前、よく温泉のことがワイドショーなんかで取り上げられていたから、温泉経営側も対策として何らかのことをしていると思います（良い対策です）
それが結果として人の肌に優しいかどうかは別ですが。

温泉は、硫酸を含むので最後に上がり湯をかけて温泉成分を流さないと、肌が少しずつ溶けてしまうんですよ。温泉の中で腕をこすってみて「このお湯、ぬるぬるするわ」というのは、肌が少し溶けているからぬるぬるするのです。

ある意味、そうやって皮膚の表面を溶かせば下からツルツルの肌が顔を出すという効果もあります。漂白剤が指につくと、指先の皮膚が溶けてぬるぬるするのと同じ原理です。

上がり湯をかけないでそのまま肌着を着たら、その肌着がボロボロになってしまったという強い硫酸を含む温泉もあります。

上がり湯で、きちんと温泉成分を落としてから上がってくださいね。