職場の人と一緒に帰りたくない

はじめまして。 メーカーの一般事務として働いています。事務職は私と私の上司、1人しかいません。 ほぼ残業はないのでいつも定時で帰宅するのですが、電車のホームまで帰り道が一緒のため、いつも一緒に帰っているのですが、毎日話題があるわけではなく苦痛です…。 定時になったら私はまず書類やパソコンなど片付けをし始めます。 その間上司は自分のことをして、そのあとで裏にあるロッカーに荷物を取りに行きます。 ちょうど上司がロッカーから荷物を取って席に戻ってくる頃に、私も片付けが終わっていて（私は自席の引き出しに荷物を入れています）、ふたりとも席に着く感じになります。 例えば、上司がロッカーから戻ってくるのに時間がかかっても、挨拶もせず先に帰るのは失礼かなと思って待ってしまいます。そうするとふたりとも帰る準備は万端なので、結局いつも一緒に帰ることになってしまいます。。 どのようにしたら不快感を与えず、別々に帰ることができるでしょうか？ ちなみに私服勤務のため、着替えで時間をずらすことができません。