職場での気になる人

私は、アラフォ-の女性です。他の部署の4,5歳年下の男性がきになる人がいます。付き合いたいとかそういう事は、まだ考えていませんが、まずは、二人で食事でもいけたらと思っています。話の感じで、彼女はいないようです。

仕事上は、関係ありませんが、会社の行事の通じて、面識はあります。
家が比較的近い為、今まで二度ほど、二人で、一緒に帰った事がありますが、その時にも連絡先等は、交換しておりません。

会社の人だと、行動しづらいなとこの年になって考えてしまい、なかなか先に進めません。この年になってと思われるかもしれませんが、アドバイスがありましたら、教えてください。