無口な男の子と仲良くなるには？

私(大学生)が好意をよせている人は、非常に無口です。
友人もほとんどおらず、友人であってもテンションが急激にあがったりするわけではなさそうです。彼女もいません。興味がなさそうです。
授業がいくつか同じで、一緒のグループになった際、私が楽しそうにしていると笑ってくれていた姿に惚れました。
そして、この間勇気を出して声をかけました。すると私を把握してはくれていたようで、アドレスも（半ば強引に…笑）聞くことができました。

しかし、メールは質問でないと返って来ず、返ってきても絵文字、句読点なしの一行のみです。
それにもめげず、挨拶したり、小さい会話（未だ敬語を使われてしまう…）を積み重ねて、私と、彼の友人を含めた４人でお昼ご飯を食べることには成功しました。誘ったときも、唯一午前中から学校に来る曜日ならと渋々ＯＫしてくれた感じですが。

夜ごはんは、誘っても「部活がある」「お金がない」と、嫌そうです。
共通の音楽の趣味があると分かってもさほどテンションは上がらず、相変わらず会話を広げたり質問することはないです。
これだけ見ていると脈がないどころか完全に嫌われているのですが、昼ご飯を食べる日はなぜか突然ワックスをつけて登校したり、彼の友人が「（夜ごはん）行ってやれよ」というと、「お前（彼の友人）はいかないの？」と無理矢理誘えば夜ごはんに行きそうな雰囲気も出ていたり、何を考えているのかまったくわかりません。
会話をすれば笑ってくれるし、こちらが頑張れば一応会話も続きます。
彼の友人も、「本気で嫌がっていたら会話なんてしない」と言いますが、明るい性格の自分も、自分に自信があるわけではないので声をかけるのも申し訳なくなってしまいます。
私にもきっとある持ち味が、彼に伝わって欲しいです。

彼ともっと仲良くなるには、どうしたらいいのでしょうか？