好きな人の言動や態度について

好きな人がいるのですが、その人は私に下らないことたくさん話しかけてきたり、差し入れしてきたり、2人でご飯に誘ってきたりします。
仕事の相談とか人生の話とか、割と深い話もできる仲です。

ですが、たまにそっけなくてとても傷つきます。
今日も、くだらない話してきたのはむこうなのに、
話の最後に「今時間の無駄だったって思ってる」、とか言ってきたり、
もうすぐ卒業でさよならなので、色紙にたくさん書いてね！って言ったら
「書くことなんてないから」と言われました。

「それを俺に何で言ったの？」とか、
「あなたは話の理解力が遅い」とか、
「脈絡のない話しないで」とか、
「こいつ話の意図とずれてるわあって思った」とか。

じゃあ私に話しかけてくんじゃねえよ！！！って叫びそうです。
なんであいつは脈絡のない話を私にしてくるくせに、私がすると怒るのでしょうか。私が理解力の遅いバカなら、なんで私に話しかけてくるのでしょうか。

彼は他の人にはまったく自分の話をしないタイプの人で、
当たり障りない、ニコニコとした態度をとっているのもムカつきます。
私は最初、自分にだけに巣を見せてくれるのが嬉しかったのですがムカついてきました。

これまで何度も彼の言葉に勝手に傷ついて、距離をとろうと考え、
こちらから一切話しかけないといった行動をとるなどしました。
しかし、そのたびに私の周りをうろうろしてきて、
よくわからない自分のひげや髪の毛の話をしてきたり、
何やってるんですか？何きいてるんですか？って聞いてきて、
結局、惚れた弱味で話をしてしまいます。

私は彼にどう思われているのでしょうか。
このまま好きでいていいのかわかりません。
彼の言動にイライラします。

皆さんのご意見をおきかせください。