人によってくい違っている半休の出社時間

今後数回病院に行くため午前半休を取ります。うちの会社は9時から18時で、午前半休の場合の出社時間は14時から18時の4時間と規則には書いてあります。 この間同僚が半休を取った際に休憩時間を考慮しないで計算したのか午前半休の場合13時出社だよ、と言っていました。 その時指摘したのですが、他の同僚1名も同調しており、その場では私が間違った？と思ってその後言いませんでしたが翌日出社した時に規則を確認したら間違えありませんでした。 同僚達とはいっても10近く年上なので、わざわざ翌日蒸し返すのも言い辛くそのままになってしまいました。 上司に確認すると、「本当は半休はお昼までだけど、自分(上司)のさじ加減だから13時から14時までの間にくれば良いよ」と言われびっくりました。 会社自体規則上の契約はフレックス制になっていて普段から1時間位は大体残って仕事しているので良かれと思ってそうおっしゃったのだと思います。「でも就業規則には」と言いかけると「それだれも見てないから」と言われてしまい、それ以上は言えませんでした。まだ支社がオープンしてから1年経っておらず、支社のスタッフは数名で、ゆるい部分がある会社です。出退勤記録は手打ちなのでどうにでもなります。また、上司はその人しかおりません。 今度の病院は遅くとも14時の出社には間に合うように予約しました。だけど、同僚からは「遅刻した」と思われ、上司には「本当は遅刻だけど、こちらがはからっている」と思われるであろう事が釈然としません。もしかしたら上司は何とも思わないかもしれませんが、私は雇ってもらっている身としてきちんとしたいです。私がこだわりすぎでしょうか。 上司が言う13時から14時の間には出社するので、良しとするか、今後も含め早く出社できるようにするか、迷っています。皆さんならどうしますか？よろしくお願いします。