職場の昼休みについて

アラフォーパート女性、今の会社2年ぐらい働いてます。職場の雰囲気も良い、同僚もいい人ばかり、業種も自分好きなことなのでとても気に入りました。 最近自分の都合で腰が怪我しました。休みの日病院行ったり、接骨院行ったり、子供3人いるためなかなか土日行けないので、会社の昼休み12時〜13時を利用して接骨院に通いたいです。 今日12時過ぎ上司に声かけて「すみません、昼休みちょっと出かけます。宜しくお願いします」 「どうした？何のことですか？」 「接骨に行きたいです」 「子供のことならしょうがないですが、私用はなるべく避けて欲しい」 その話を聞いてとてもショックで落ち込んでいます。 そして、入社する頃、ある日上司がいなくて、たまたま社長が事務所にいて、昼間ちょっと外出したいですと言ったら、社長は昼休みは自由の時間だから声かけなくて出ていいよって言われたのに、何で自分の上司はこんな言い方？ 怪我のこと知っているのにそれでも融通効かない？昼休み給料払ってないのに何で自由使えないですか？ とてもショックでやる気がなくなりました。 どうしたらいいでしょうか？社長に言うのも上司のメンツ潰して気まずいし、悩んでいます。