女性から飲みに誘ってもアリ？

ご覧いただきありがとうございます。
私は23歳なのですが、４年ぶりに飲みに行った男性（２７歳）のことが気になっています。
その男性は私が高校時通っていた元塾講師（現在は社会人です）で、４年前に何人かで合格祝いに飲みに行った以来会っていませんでした。
就活の報告をしてから1年後、私が関東に上京した時に久々に向こうから飲みの誘いが来て二人で飲みました。（4月中旬くらい）

４年ぶりに会ったとは思えないくらい楽しくて気づいたら４時間居酒屋で話していました。
向こうには現在彼女がいません。私は飲みに行った時は彼氏がいたのですが最近別れました。
飲んでいた時にお互いの恋愛の話になり「5歳上って恋愛対象？」「何歳までならいける？」とか
「合コンで付き合ったことない」等言われました。

話の流れで私が「元生徒って恋愛対象になるんですか？」と聞いたら「うん」と言ってました。
お礼のメールを送った際の返事で
「一週間お疲れ様！俺もすごい楽しかったよ。２人であの時間まで笑って話してるとは思わなかった！
また近々飲みに誘ってみるわ笑　そっちからも声かけてー。」
と返事が来たのですが、もう一度自分から飲みに誘っても大丈夫でしょうか？
（その後GWの予定を聞かれて、たまたま帰省する日程が少し被ったので飲みに誘ったのですが向こうが用事だったのでお断りされました。
某家具屋の近くに住んでるので、もし家具屋行く時あったら連絡していいよと言われたので「家具屋行く時に声かけてもいいですかー？」と返事をしましたが返事がきませんでした。）

向こうが引いてしまわないか、断られた時のことを想像すると勇気が出ません。
アドバイスよろしくお願いいたします。