諦めた方がいいでしょうか

相手（30代男性）からの好意で今まで4回遊ぶ様になった人で、私の方が好きになってしまいました。3回目までは良い感じでした。 ただ家が遠く、一度帰りが遅くなってしまいましたが、次会った時前回遅くなったね等の話は向こうから一切なかったのも寂しく、今日はタクシーではなく帰るねと早々に伝えてしまいました。何で言ってしまったんだろうととても後悔しています。その日は駅まで送ってくれる事もなく、次の約束もなく冷たい感じで終わりました。 また家に誘われたので、行きたかったですが、まだ付き合って無いのでと断ってしまった事もありました。それからも家には来て欲しそうにしてましたが、断った手前行きたいとは言い出せなかったり、彼女じゃないからと変に遠慮したのも悪かったと思ってます。 こちらからのLINEは遅れても謝罪もあるし内容も前と変わらないものの、向こうからはなく明かにこちらかに興味はなくなったみたいです。 次会う時に自分の気持ちをちゃんと伝えようとして誘いましたが、来月は試験あるので終わったら一緒に行きたいとの返事でした。その間私の誕生日もあります。（相手の誕生日は誘われてプレゼントも渡しました） 優しく断られたんでしょうか。 試験後にまた連絡しても良いものでしょうか。