バイト

私は大学生で、アルバイトをしています。
その日のバイトは、忙しく人手がたりなかったため夜の11時15分までバイトをしました。
そういう日がちょこちょこ続いていました。
バイト終わりいつも残ってくれてるからと、店長がご飯につれていってくれました。私の同期の女の子と自分と店長とでいきました。
私の彼氏は、帰るのが遅いと心配してくれているのはわかるのですが、結構怒られてしまいます。
私の性格は、あまり断れない性格でご飯に連れて行ってくれる時もお腹も空いていたし断ると同期の子にも店長にもなんか付き合い悪い？みたいな感じでおもわれてしまうかなあと思い断れませんでした。
店長の話や同期のことしゃべりながらご飯を食べて、2時30分ぐらいになってしまいました。
次の日に呆れられ、(いいですね。ずっと夜遊びできて。もうおまえに何の感情もいだかない)といわれてしまいました。自分は絶対友達と遊びに行くと19-23時には絶対いつも帰ります。バイト＝遊びと思われるのが嫌です。付き合いもあるしそんなん言わないで欲しいと言いたいですが、相手はバイトをしていません。だから私の気持ちがわからないのかなと思ってしまいます。
今呆れられているのですがどうしたら理解してもらえますか？話をまとめるのが下手くそですが、誰か教えていただきたいです。宜しくお願い致します。