大学の先生を好きになってしまいました（長文です）

初めまして。３０歳のまりあを申します。
事務員として大学で勤務して１年半が経ちました。そこで知り合った教授(理系、４０代、独身）が気になっています。

彼はちょっと変わっている（？）というか職場では無愛想で「近寄らないでくださいオーラ」を発していていつも忙しそうです。気軽に「今度、飲みに行きましょうよ！」とか誘える雰囲気ではありません。
ただ飲み会やイベントは好きなようで、参加はされていらっしゃいます。
好き嫌いがはっきりしていて、嫌いな人に対してはとことん冷たいです。
そんな性格なので、同僚は「あの先生は怖い」と言っています。が、同僚たちは「あの先生はまりあさんには優しい」「まりあさんと話すときは嬉しそう」と言っています。
私は「怖い」とは感じたことがありませんでしたので、言われてみたらそうなのかもと思えるようなこともあります。

例えば、飲み会では隣になっても嫌な顔はされませんし、たくさんお話しをしてくれます。腕や肩をパシパシ叩いても足や手が触れていても、避けられたり嫌な顔をされたこともありません。職場の打ち合わせ時も、なにかと私の意見を聞いたり同意を求めてきます。
旅行のお土産などを渡せばいつも「ありがとうございます」と受け取ってくれます（当たり前ですかね）。

ならば、と先月勇気を出して二回ほど飲みにお誘いしましたが、｢忙しいのでごめん｣と断られました。
本当に忙しそうなので、社交辞令ではなさそうですが何とも判断しかねています。
こちらからお誘いしても先生から声をかけてもらったことはないです。

バレンタインには、チョコにカードを添えて渡そうとは思っています。告白する前にもっとお近づきになりたいです。

大学の先生とお付き合いされた（ている）方、いらっしゃいましたらアドバイスをお願いします。