定時後、帰るタイミングに迷います

30代女性、1月から転職し働いています。
定時を迎えた後の帰るタイミングについて迷っており、皆さんのご意見を伺いたく相談させてください。

現在の部署は、私を含め３人で全員女性です。

先輩にあたる２人は仕事量も多く、ほぼ毎日１～２時間残業している状況です。残業後、2人はだいたい一緒に帰っている様子です。
一方で、私はまだ仕事量が少なく、定時に上がろうと思えば上がれる位ではありますが、一番下の自分だけ先に帰ることに罪悪感があります。

なので、仕事や調べものがある風を装って先輩が帰るタイミングまで残ったり、せめて1時間は残ったり、をしてきました。

ですが、やる仕事もないのに無駄に時間を過ごしている感じがあり、帰れるなら早く帰っても良いんじゃないかと思う気持ちもあり‥。
しかし一方では、先輩を待って帰る(一時間くらい合わせて残る)のは、職場の雰囲気に馴染むためにも必要なことなのだろうか‥と思ったり。
人数が少ない部署だけに、迷っています。

いつも、定時を過ぎたあたりで見計らい「何かお手伝いできることありますか？」とそれぞれの先輩に声をかけますが、だいたい「ない」と言われます。でも「先に帰っていい」とは言われません。

今日は、上記のようにお伺いを立てた後、挨拶をして退社しました。
でも、先輩の一人から気のせいかもしれないけど冷たい雰囲気を感じ、モヤモヤ‥。

帰るタイミング、みなさんはどのようにしていますか？
立場や職場の雰囲気もあると思いますが、ご意見やアドバイスなどお願いします。