職場の同僚を軽い気持ちで仲間の食事会に誘ったところ…

　３０代の女性です。私が働いている職場は人間関係が割りと良好で、中でも気の合う女性４～５人で月一のペースで仕事終わりに食事会を楽しんでいます。
　数か月前、またいつものメンバーで食事に行こう！と盛り上がり、特に深い意味なく、「今回は、他の人も誘ってみようか」という話になり、同僚の男性を３人（３０代１名・２０代２名）ほどお誘いして、食事に行きました。
　その数ヶ月後、いつもの食事会メンバーの女性Ａが退職することになりました。「じゃあ、仲間うちの送別会をしなくちゃね！」とまたもや盛り上がっていたのですが、各々の都合上、いつものメンバーが彼女の退職日までに同じ日に集合することが難しいということがわかり、「じゃあ、ひとまず今回は私と二人でちょっと豪華なレストランに行こうかね」という事になりました。
　そんな時、数か月前に一度食事にお誘いした３人の男性の内、３０代の男性がわざわざ私のところに来て「Ａさんの仲間うちの送別会っていつですか？」と尋ねました。こちらはその「仲間うちの送別会」に彼を誘う予定にはしていなかったのですが、まぁ、来たい（…と私は解釈しました）という人を拒否する理由もないし…と思い、「今回は二人だけで豪華なレストランに行くことにしています。よかったらぜひ、ご一緒に」とお誘いしました。彼の返答は「じゃあ、予定見てみます」との事。
　結局、彼は来なかったんですが、後日「オレは彼女たちから好かれている。」「彼女たちにとって、オレは何か特別な存在なのかな～」と得意げに他の同僚に話している彼を目撃しました。　
　こちらは職場の同僚という以外に特に何の意識もしていなかったのに、何だかそういう一方的な都合のよい解釈を他の同僚に吹聴されてとても不愉快で迷惑しています。私は既婚者ですし。
　迂闊に誘ったこちらがマズかったのでしょうか？ちなみに彼は独身です。