出社させたがる上司

私は業界5年目で、収入アップと在宅勤務を継続するために今年から転職しました。 転職先の現在の会社については面接時に在宅勤務可能であること、 必要に応じて出社しているということを確認し「必要に応じ当然出社はするが、 私の気質としては在宅勤務の方が合っているので在宅もする」 ということを伝えた上で採用になりました。 しかし実際に入社してみるとチーム内でキャリアが長い50代の上司(面接も担当)が 在宅勤務を強く嫌っており、評価を左右するわけではないが出社推奨と時々発言しています。 (評価と言っているがこの上司に人事権はなし。しかしチーム内で一番上なので無視出来ない) 実態としても一部の歴が長い人や業界が長い人はほぼフルリモートですが、 主に若手社員やパートナーも上司を恐れて用がなくても出社し、半々位で在宅と出社をしています。 在宅/出社に関する学習コンテンツを見ている時に「馬鹿じゃねーのそのくらい出てこいよ」と笑いながらですが、強い言葉を使っていました。私も半々で出勤しているので、直接言われたわけではないですがこう言う発言があると気持ちが不安定になることがあります。ちなみに毎日出社しろと指示を出すのはコンプラ的な問題があると本人もわかってはいるようなので直接は言って来ません。 正直面接時にこの実態を知っていたのであれば入社したか怪しいですし、 私は私がどうしたいか伝えた認識でもっと言えば他の会社からもオファーが来ていたので 断ってくれればよかったのに、と納得がいかないと感じる時があります。 なお、上長については本当にどっちでもよくて自分の成果を出せる方でいいと言っています。 ここからが質問ですが、在宅勤務をする度に感じる必要のない罪悪感や焦りが出てくるようになり、精神的によくない時があります。転職はまだ考えていませんが、どうしたら解決・気持ちが解消するでしょうか。