同僚に食事に誘われ、送迎も要求されました。断ってよかった？

先日、職場の男性に飲みに誘われ、二人で食事をしました。
特に親しい人ではなかったのですが、転職したばかりの職場で、しかも社員の少ない会社なので、なるべく同僚とは早く打ち解けておきたくて誘いに乗りました。

私の家と同僚の家は会社を挟んで正反対の方向にあるため、当然会社近くで食事をするのだろうと思っていました。
しかし、「じゃあ○○駅に７時で」と彼の家の最寄の駅を指定され、私はなんとなく釈然としないまま、電車に乗って駅まで行きました。そこからさらにタクシーに乗って10分ほどの店が目当てだったようです。
確かに食事は美味しかったのだけれど、料金は高め（割勘でした）。彼はほとんど自分からは喋らず、正直気まずい雰囲気。
帰りはタクシーで駅まで送ってもらい、私はそこから電車とタクシーを乗り継いで家まで帰りました。店を出てから約１時間。さすがに疲れました。
ここまでならまだ許せたんです。

後日、彼からまたあの店に飲みに行こうと誘われました。
げーっと思ったのですが、彼はあそこしかいい店を知らないとのこと。
だから「あの店は確かに美味しいですけど、ちょっと高いし、私は行き帰りに時間かかるし、飲んだらタクシー代もかかるから別の所じゃだめですか？どうしてもあの店に行くなら、私は飲まずに運転して帰ります」と伝えたんです。
そうしたら、「じゃあ、俺も乗せてってくれる？」との返事が。
転職したてで大人しくしていたのですが、さすがにこれには驚き、
「よく知らない人を車に乗せるのは嫌ですっ！食事も嫌です！」と断ってしまいました。
それ以来、その同僚が気持ち悪く、つい避けてしまいます。

あまりにずうずうしい発言だったけれど、私の言い方も大人げなかったし、
仕事を円滑に進めるために、何かフォローを入れるべきなのでしょうか…？
愚痴で申し訳ないです。