雇用形態について

社員10人以下の小さな会社で、庶務、雑務、上司（社長）の補佐として働いています。 私の職種は私のみです。 年俸制で勤怠管理はしておりません。 私以外の他の社員は自分の塩梅で出退社しています。 私も同じ雇用形態なのですが、 みんなが出社する前、朝一番に出社し、電話をとったり荷物を受け取るために定時出社、定時退社をするようにと上司から言われています。 上司は忙しい為ほとんど外出で会社にいません。 しかし、忙しい時期なんかは他の社員と同様に夜中まで残業してタクシーで帰るなんてこともあります。 そんな時、他の社員は翌日昼過ぎに出社するのですが、私だけはいつも通りに朝出社をしています。 もちろん暇な時は定時より前に帰ったり、日中病院にでかけたりと自由な働き方をしています。 しかし私は外出を許されておりません。 基本的に、裁量労働は時間の拘束をしてはいけないとネットで見かけました。 私の働き方的に裁量労働ではなく、時間給になるのかと思うので、上司に相談しようかと思っているのですが私はおかしいでしょうか？ また、今のご時世、裁量労働だからといって勤怠管理をしてないのは良いのでしょうか？ 以前上司が、勤怠管理というめんどくさい申請をしたりしないで働ける環境で良かったね、みたいなことを言っていたのでそもそも勤怠管理をする気がないのはわかっています。 ご意見お聞かせください。 よろしくお願いいたします。