絶食系男子？いつになったらデートできるのか

会社のいわゆる絶食系男子？な先輩を好きになってしまいました。

最初は距離がありましたが、押したり引いたりをお互い繰り返しているうちにかなり距離は近くなったように感じます（ラインのやりとりが長くなった、物理的に距離感も近くなった、ボディータッチ？までいかないけどそれに近いこともあった）

ただ先輩はとにかく人付き合いが悪いことと女っ気がないことで有名で、よっぽど好きな先輩に誘われたなどでない限り、会社の飲み会にも参加しません。

態度を見てるとかなり好意的に接してくれていると感じるのですが（向こうから近付いてきてくれる、残業の時間が一緒になると嬉しそうにしてくれる、共通点があるとすごく嬉しそうに食いついてくる、私が何かしてると顔を覗き込んでくる等）
こちらからの飲みの誘いにだけは一向に応じてもらえません。仕事関係の複数人でということならなんどかあるのですが、私からのただ飲みましょうというお誘いには人数関係なく応じてもらえないのです。

断られ方は「忙しい」です。ただ、一人ではよく飲んでいるようだし、決して飲みが嫌いなわけでも、時間が０なわけでもないのです。幾度となく諦めよう！とも思ったのですが、好意的に接して来られるとやっぱり好き！という気持ちになってしまいます。

・予定が不規則かつ激務だし、先輩もかなり仕事にストイックな性格だからしょうがない
・最初にくらべて、少しずつ断り方が優しい返事になってきている！（断られては１～２ヶ月あけてまた誘ってみるというのを半年ほど続けた結果）
・飲みにだけ行ってくれないこと以外はそうとう好意的な態度をとってくれている！

等、いろんな脈ありかも！？というポイントを探しては片思いを続けているのですが、
客観的なご意見を聞かせていただけると嬉しいです。やはり諦めるべきでしょうか・・・