職場に気になる男性がいるのですが・・・

職場の男性に半年以上片思いしています。
会社は同じでも、仕事内容が違うので
週に２日顔を合わせるか、くらいです。
彼のいる部屋に用事があって行った時にはじめて彼に会い
そこで一目ぼれをしました。
とはいえ、一緒に仕事をする事はないので
社内ですれ違うか、会社全体の会議や飲み会くらいしか会わないだろうな～と思ってたのですが
春に私の所属しているチームの飲み会になぜか彼も参加して
そこで彼の名前を知り、彼から連絡先を聞かれ
一人うかれてたのですが
それから何か連絡がある訳でもなく半年ほど過ぎていきいました。。

先日会社全体の飲み会があり特にしゃべることもなく終わったのですが
その日に彼から初めてメールがきて
（とはいっても、今日はお疲れさまでしたといったたわいもない内容のメール）
これまた一人浮かれてました・・

ひょんな事から
お互い会社に対しての同じ悩みを抱えてるという事がわかり
そこから頻繁に連絡を取り合うようになったのですが
なんせ私はうじうじな性格なので
彼からいろんなアドバイスをもらっても
うーん・・でも・・・
みたいな返ししかできなくって
彼から愛想つかされ落ち込んでいます・・

それからしばらくそっけない態度を取られてたのですが
今週に入り、彼が私の仕事場をのぞきにきてくれたり
なのでまた私、うかれはじめてしまって・・

このままでも私が一人でうじうじしているままなので思い切って誘いたいなと思っているのですが。
なので、相談というよりは
背中を押してほしいです。

ちなみに彼の話によると、
好きな人ができたら自分からがんがんいくタイプらしいです。
が、前回それでうまくいかず
女の人がこわくなったと言っていました。
それが１年半くらい前らしいので
彼女自体はずっといないらしいです。