職場の年下男性へのアプローチ方法を教えてください。

私27歳、彼23歳です。
入社は彼の方が半年ほど早いのでお互い敬語、仕事上の関わりは電話の取次ぎ程度です。
最初はなんとも思っていなかったのですが、彼は目が悪くじっと人を見る癖があるのかよく目が合い、なんとなく意識し始めて見るようになったら年下に思えないしっかりしたところや真面目で礼儀正しいところに惹かれるようになってしまいました。
挨拶のときは全体に向けてしているときも彼と目を合わせて笑顔でするようにし、通路で二人ですれ違うときなどはお疲れさまですだけでなく少し雑談もできるようにまでなりました。
話しかけるのはほぼ私からですが、笑顔で受け答えしてくれます。

もう少し仲良くなりたいと思い、3つ下の女の子と新年会を企画しているので、そこに彼も呼びたいのですが、不審に思われるでしょうか？
一応、全員自宅最寄駅が同じで、その駅で飲もうという話が出ていたことや、その女の子と彼は席も近く結構プライベートの話もしているので、誘っても大丈夫かなと思うのですが…
年齢的には彼が一番下になるので、嫌でも気を遣って断れないかなと心配です。

ちなみに、職場恋愛・結婚が多い職場で、現在も一組カップルがいて、3つ下の女の子は職場外ですが彼氏がいます。
その子の話だと、彼は大学時代からの彼女と別れて少し経つぐらいだそうです。
私は入社した時から冗談だとは思いますが「みんな狙ってる」「彼氏いないって知ったらみんな喜ぶ」というようなことを先輩に言われていて、何人かおすすめを受けましたがその中に彼は入っていませんでした。

長くなってしまいましたが、今後どのようにアプローチしていったらいいのか、アドバイスよろしくお願い致します。