年齢差のある恋愛

32歳男性です。今、20歳の子の事が気になってます。
その子はアルバイトとして３か月くらい前に職場に入ってきました。人見知りする子と聞いていたんですが、自分は話しかけやすかったらしく、初めて会った時から仲良くなることができ、また仕事もしっかりやってくれて、とても好感を持ちました。

現在は、こちらを辞めたんですが（9月いっぱいで辞め、今は内定先の方でアルバイトをしているようです）辞める際に思い切って、連絡先（LINE)を聞き、交換してもらいました。
ちょくちょく職場で「ご飯連れてって下さい」と言われていたというのもあり、先週初めて2人で食事に行ってきました。
新しい職場の話や趣味の話で盛り上がったんですが、帰宅後お礼のメールが無く（単純にこちらが先に送ってしまっただけかもしれませんが）、またこれまでのLINEのやりとりも返信はあるものの、結構返信まで時間が空く事も多く、翌日に返信がある事もありました。

返信が遅くなった時はちゃんと「遅れてごめんなさい」と一言あるし、新しい職場で覚える事もたくさんあるみたいだったので、単純に忙しいんだろうなと思ってあまり気にしてなかったんですが、普通に考えたら後回しにされてるし、正直、迷惑になってるんじゃないのかな？と不安になってきています。

食事後のお礼で「またご飯行こうね」と送り「是非行きたいです」と返信があったものの、完全に社交辞令？とも思えますし、やっぱ年齢差もあるし、好意なんてもたれるわけないかとネガティブな事ばかり浮かびます。

2回目の食事に誘うと思っていたんですが、気が引けます。
ここから挽回することって可能なんでしょうか？
アドバイスお願い致します。