歳上の気になる人ができました

はじめまして。大学生ののんです。
最近バイト先で気になる人ができました！
その人は私より17歳上です。
いつも私がイケメンイケメン言っても鼻で笑って流すような人です。
先日バイト先の人数人と一緒にバイト後バイキングに行って、帰りに家の方向の関係で2人になりました。
その時にその人から連絡先を聞かれ、電話番号を教えてくれました。
そのバイキング夜は品数も少なかったので、今度は昼に行きたい！と言ったら意外にもあっさり承諾してくれました。
でも、昼に行くのはその人の週一の休日をつぶすことになるし、2人で行くというのは私が緊張します笑
もし、その人がみんなで行くつもりで承諾してくれたとしたらとんだ勘違い野郎になってしまうし笑。
私が年下すぎてその人からすれば私は子どもなんじゃないかな、と思います。
誘うなら番号を教えてもらった日から空かないほうがいいのかなとはおもいますが、どうしていいかわかりません。
バイト先はアットホームすぎて、その人と気まずくなったら私も居づらくなります。でも卒業まで辞めたくはありません。
このままの関係でも充分ですが、電話番号を教えてくれたのは脈ありなのかなとも期待してしまいます。
これからどうすればいいのかいろんな意見を教えてください。