初めての食事に行った際何か気に障ったことをしたのかと不安です

先週、以前勤めていた職場の男性と食事に行きました。 在職中は仕事のことしか話したことがなかったのですが、転職活動のことなど近況について会って色々お話しませんかと、先日突然、食事の誘いの連絡がありました。 どうしようか悩んだんですが、人間関係で退職したということもあり（表向きの退職理由は転職ということになっています。）、前の職場の人と会うのは嫌だなという思いもあり、断りの連絡を入れましたが、それでは別の日はということで、何日か提示され、断りづらくなり、会うことにしました。 当日は、2時間ほど食事をし、転職活動の話や、近況報告等の話をしました。 海外出張の多い人なので、出張から戻ってきたばかりで、お土産を渡したかったと、お土産をいただいたり、私がお手洗いに行っている間に会計も済ませてあり、ご馳走にもなってしまいました。 お店を出てから、自分の分は払いますとお金を渡したのですが、誘ったのは自分だからと受け取ってもらえず、そのまま別れることになりました。 その際、お土産とご馳走になったお礼を改めてし、またご飯でもと言われ、別れたのですが、家に帰ってから改めてお礼のメールを送りました。 すごく気を使っていただきましたし、話しやすい方だったなと在職中は思わなかった気持ちになり、またお時間あったらご飯でも行けたらといった内容で送り、丸2日経ちますが、返事がなく、未読のままです。 今週も明日から海外出張と言っていたので、忙しいのかなと思うのですが、未読というのが気になってしまい、食事の際、何か気に触ることをしてしまい、ブロックでもされてしまったのではと不安になってしまい、相談させていただきました。 こんな気持ちになるのなら、やはり会うんじゃなかったと後悔しています。 返信がない、それも読んでもいないということは、やはりもう会いたくないということなんでしょうか。