男性に聞いてみるべきでしょうか？

先月33歳になりましたが、恋愛経験がほとんどありません。
今の職場にかわってから5年になりますが、彼氏や旦那さまのいる職場の同僚に飲み会などの機会を何度もセッティングしてもらったしました。が、私がいいな～と思ってご飯を誘っても連絡がなかったりと、飲み会以後が続きません。
そういう状況が続き、同僚たちからはもうネタがつきたと飲み会をしてくれなくなってしまいました。

そんな中、数日前に職場の先輩から男性を紹介されて、2人で食事に行きました。その男性は35歳で3年くらい彼女がいないとのことでした。食事の約束をメールでしたので、メールはとても丁寧な感じでよい印象をもちました。初めて会って食事に行き、3時間くらい話をして家まで送ってくれました。会話の中で、友人をとても大切にしている方なのですが、女性の友人も多く中には元カノもいるそうです。元カノとのデートの話などもしていて、女性と付き合うことだけではないみたいですが、会話の中でとても『面倒くさい』と連発しているのが気になりました。
この面倒くさいっていうのは、私への牽制なのでしょうか？もともと彼から紹介を頼んでいたわけではないようなので・・・。
食事をした翌日は彼の方からメールをくれたのですが、その後は休みが合わないので、また連絡しますといったメールをくれてから、次の誘いはありません。私の方からメールをすれば返事はきますが、彼の休みで私も仕事が早く終わる日を教えても都合が悪いからまた連絡しますとのことでした。

飲み会や今回の紹介でも、次につなげることができないんです。これは私に問題があるのでしょうか？恋愛経験がないからか、この状況を放置してもう33歳になってしまいました。原因を知るためにも、彼に何がダメだったのか聞いてみたいのですが、皆さんはどう思われますか？

最後まで読んでくださってありがとうございました。