好きな人の私に対する態度が気にかかります

気になる人ができました。話しかけてくれたのは彼からで、とある集まりがあったときに顔を覚えてくれたようなのです。そのときは、こんな人いたのか、くらいに思っていたのですが、気さくな感じで印象がよく、目で追うようになるまでに時間はかかりませんでした。
その後も話をする機会があったときに「この前、そこですれ違ったとき声かけようと思ったんだけどさ」とか「どこどこに誘おうか迷ってたんだよね、誘えばよかった」とか言ってくれたことがありました。
けれども、偶然すれ違ったときなどに私から挨拶をすると、小さく会釈を返されるくらいで、なんだか素っ気ないのです。すぐ真横をすれ違ったのに目さえ合わないこともありました（声をかけたかったのですが、勇気が出ず私だけ彼をガン見するようなかたちになってしまいました）。

心当たりがあるとすると、集まりで飲み会があった際に、送っていただいたものの、普段使わない道に入ってしまい少々迷って迷惑をかけてしまった、ということです。
飲み会の折りにlineの交換もできたので、帰宅後に迷惑をかけたことを謝ったのですが、短い返事で終わってしまいました。
あるいは、あんまりにも私が彼を見すぎるようになったので、私の気持ちに気づいて避けるようになったのかもしれないとも考えました。けれども、隣の席についたときなどは、話題をふって話しかけてくれたりします。

もっとメッセージのやりとりをしたいと思っているのですが、不意のときの笑顔のかけらもない素っ気ない態度が気になって、臆病になってしまいます。
私の考えすぎなのか、彼が実はシャイな人なのか、そもそも誰に対してもそんな感じなのか、ぐるぐるひとりで考えてしまうばかりです。
どうか、この臆病な背中を押してはくれないでしょうか。