恋愛経験のない私の友人と私が過去知り合った男性がそうだったのですが、
恋愛経験がない故に、どうやって仲良くなっていいか分からず、
自分の仲良くなりたい強い思いに任せて相手のペースや相手との距離感が置き去りになってしまう、ですね。
例えば50歩進むと仲良くなれるとした場合に、
1歩が普通の交流だとしたら、仲良くなりたくて5歩ずつ距離を詰めていく、のではなく、
一気に25歩進んで2回で仲良くなろうとする、私の友人も過去知り合った男性もそんな感じでした。

飲み会の後に自宅に誘ったのがそうですが、
トピ主さんの頭の中にあったのは「もっと話したい」の自身の気持ち優先で、
相手の体調（飲みの後の疲れや眠気）、相手の翌日の予定等への気遣いや思いやりが欠けていましたよね。
そしてたまに飲みに行くと言うのも2人ではなく皆で集まる飲み会ですよね？
そう言う関係性で、しかも恋愛経験のない男性に、
家と言う「2人きりの空間」に「今から」と誘うと言う距離の詰め方は距離感ゼロで急ぎすぎかと。
「今から家で」ではなく「今度2人で飲みませんか？」と言えば、
相手に対して適度な距離感や時間が出来るので、安心感とゆとりが生まれて相手も交流し易いと思います。

他、相手からの返信が数時間後なら自分も同じくらい時間を空けて返信とか、相手が短文目なら自分もそうするとかも大事です。
仲良くなるためには、相手に歩幅を合わせた方法で、距離感を設けて徐々に仲良くなるように持っていく事です。
ひとまず2人での飲みやご飯に誘ってみては？
「話して楽しかった」と言うのは既に言っており、そのフレーズを繰り返し過ぎるとしつこくなってしまいますので、、
「気になるお店があるので行きませんか？」
「○○さんが好きな△△のお酒（食べ物）で評判のお店があるので行きませんか？」（←知らなくても口コミで調べる）
とメールしてみては？

お互い恋愛未経験のままここまで来たのなら、『自然に』とか『なりゆきで』とか期待してはいけません。『相手から何らかのアプローチをしてくる』も難しいでしょう。

まずは飲み会ではなく２人で食事に行ってみましょう。話す機会があるのなら、「◯◯の～が美味しいらしいんですよ」等と美味しいお店の話題を出し、そのまま「今度行ってみません？」と誘ってみましょう。
何回か食事して、悪くない感じならはっきりと「付き合って欲しい」と告白します。

エールを推したいのですが、まずわからないのが、なぜ下戸のあなたが午前4時まで飲み会に付き合うのですか？
飲み会といっても職場の飲み会でしょう。このご時世に飲み会をおそらく3次会くらいまでする職場って何？それとも、職場の有志での飲み会ですか？

先輩も29年間彼女がいない、風俗の経験もないのがどこまで本当かわかりませんよ。特に風俗の経験は。

あなたも家まで送ってもらい「お茶でも飲んでいきます？」と誘うなんて。家に上げるのは、付き合ってから。
女性が男性を家に上げるのは、そういう関係になってもいいということです。
話していたいから、喫茶店にお茶を誘うのとは訳が違うのです。

「あそこに美味しい店ができたので、行ってみたいなぁ」と言ってみたらどうですか？
それで相手が「今度行こうか」というかどうかでしょう。相手がそう答えれば脈あり。
「攻める」とは？恋愛未経験者が下手に攻めると自爆しますよ。

現時点では脈は無い。

今後の可能性があるなら少し同僚の関係よりも友人に近い間柄を続けることが出来るなら可能性があるかもしれない。

29年間彼女がいないという男性の話が本当だとしたなら、恐らく女性が普通の恋愛で男性に期待するようなことは出来ない。

つまり、デートの段取りを決めたりオシャレなお店を探したり、その手のことは無理だし、そのことでダメ出しをされることを怖がる傾向はあるよ。

だから、トピ主さんがそういう恋愛を求めていないことと、自分も彼氏がいないということを共有できたなら彼が行動を起こしてくれる可能性が無いわけではない。

確実に少しの間は友人関係が必要。
友人関係を経てお互いがお互いを理解して恋愛に進めるか否か。

今現在では相手にはトピ主さんへの恋愛感情は全く無いと思う。

現時点では、家が少し近い後輩の域なので、
異性としての興味は持たれていないと思うけど、
「飲み会あったらまた歩いて」と肯定的には見られているわけだから、
徐々に距離を詰めていけばいいと思いますよ。

ただ、朝４時のお茶のお誘いは、さすがに非常識だし、
いきなり家に誘うのは軽率な行動だと思いますよ。