先輩より先に帰ってはいけない?(駄)

初めまして、20代半ばのラグと申します。
私の職場について皆様の意見をお聞きしたくトピをたてさせて頂きました。
まず私の職場ですが、6時が定時の時間です。残業をしたいときは9時まで残れます。残業手当は付きません。
私は3月にこの会社に採用され、最近研修期間が終わりました。
研修期間中は定時に帰ってもいいと言われていましたが大体30分～一時間半程残業をして帰りました(片付け等もあったので・・・)。
しかし研修が空けてから同じ時間に帰ろうとすると先輩から
「え、もう帰るの!?」と言われるようになりました。
先輩は毎日9時頃までのこっていらっしゃるので、言うのも当たり前かと思うんですが、いかんせん私と先輩方の仕事内容がさっぱり違ううえに、仕事のスタイルが私は一人席が離れているので黙って黙々とするので私の方が早く終わります(そうじゃない日もあります)
それに私は、なるべく自分の時間を大事にしたいので、早く終わらせるように心がけています。
残業がしたくないという訳ではありません、仕事が立て込めばもちろん残りますし、残業手当が無いのも会社の為ですので構わないです。
ただ、自分の仕事が終わっているのに先輩が帰らないからといって残らないといけないものなんでしょうか?
私は出来ることをすべてやって帰るのに、「もう帰るの?」など言われるとどうしていいのかわからなくなります。