どうして欲しいのか分からないと言われた

私は20代で彼は一回り年上です。愚痴です。　
彼は余裕が無い時にイライラが態度に出る人で、若干八つ当たりされる事もあります。そして仕事柄悩みや愚痴が多い様で、私は良く聞いてあげます。責任を感じてほしく無くて私も悩み事を打ち明けたことがありましたが、その時はあまり寄り添ってくれてる感じもなく、一応その後ラインで謝りました。すると「もっとちゃんと聞いてあげれば良かった」と返信が来て、ちゃんと聞いてなかったのか？と思いましたが、これを機に彼に相談や愚痴を言うのはやめようと決めてます。そして以前デートをした際に無精髭で彼が来たことがあり、身なりが雑になってくことがショックだと後日打ち明けました。少し勘に触ったのか（彼は仕事を無精髭で行ってます、、汗）言い返されましたが、結局、反省してると言われました。

上記の様にイライラを八つ当たりされた時や、少し気まずくなってる時は返信を一日二日後にするようにしてしまいました。すると電話をした際、どうして欲しいのか分からない、嫌な所があったら言って欲しい、嫌いになりそうなら言って欲しいと言われました。溜め込み突然別れを告げられるのは嫌だと。また、私は人に当たるという事が全くないので、何が嫌な事か分からないと言っていました。
そもそもそれを相手に伝えるのは違うと思うし、言われても困ります。彼は自分の問題を正当化しているだけで彼自身の問題に対して真剣に向き合ってないように感じます。そう思うのなら、精神的に成長する、そう言った姿勢を見せる事が一番大事ではないのでしょうか。また、嫌いになりそうなら言って欲しいというのも、自分が一方的に好きなのは辛いからだそうです。彼自身改善して追いかけようと思わないのなら私はそこまでの相手なんだと思います。
お互い基本的に穏やかで喧嘩をした事はありませんが、彼の事どう思いますか？ご意見お願い致します。