照れ屋（シャイ）な男性の反応がわかりません

約２年居た部署から最近離れてしまったのですが…、いまだ気になっている男性の事です。
自分３５、相手４１独身・管理職。所属部が違う事もあって接点全く無く、挨拶すら交わした事が無い間柄。
離れる前に、何か接点持ちたくて社内メールで仕事外のお願いをしたところ（ダメもとです）ＯＫが来て数日後に外で会う事に。
短い時間でしたが話も出来、感じよく楽しく接してくれて、お願い事をいろいろきいてもらえました。
「お時間良ければこの後、お誘いしたいですが…」と飲みに誘いましたが「すみません、今日は遠慮しておきます」と顔まっ赤にして断られました。（急にまっ赤になったのでビックリした）

この男性、見た目とてもクール。プライド高そうな仕事一筋、恋愛に興味ない雰囲気ですが、後で職場の方に聞くと、かなりのシャイで女性が苦手らしく。「特に慣れてない女性と話すと顔赤くなっちゃうみたいだよね。私は５年この職場居るけど、ういた話ひとつ聞いた事無いよ。神経質って感じするし。よく◎◎さん（私）のお願い引き受けたね」と驚かれました。

話を聞いてるうちに、嫌々引き受けてくれたならお礼したいなと感じて、異動する２週間位前に改めて誘ってはみましたが「仕事等で予定が埋まっていて。ごめんなさい…」との返事でした。
ごめんなさい＝今後一切拒否、と解釈したのですが。
相手の近くに行くとガン見されてたり。数回ですが通路でバッタリ会うともう顔まっ赤で機械みたいなガクガクしたお辞儀されたり。２人になるのを逃げるような事までされてしまい、その反応がわからず仕舞いで、職場を離れました。

相手にとって私は迷惑だったのでしょうか？それとも意識されてた…のでしょうか？
相手の個人連絡先は知りませんが私のは渡してはいます。が、きっと連絡来ないだろうなぁ…と（笑）。正直なところ、出来れば仲良くなりたいと思っています。