彼に自分の気持ちを伝えるのが怖い

30代前半、付き合って半年ほどの彼氏がいます。

私はHSP気質で、他人を優先しがちで、自分の考えていることや気持ちを相手に伝えることが苦手です。
人混みも苦手で、お出かけするとどうしても疲れてしまいます。
2か月前、いっぱいいっぱいになってしまい彼氏に打ち明けたのですが、そのときは寄り添いたいと言ってくれました。
ただ、彼はもっと気を遣わないで接してほしいし、自分のことを話してほしいし愛情表現もしてほしいというのが本音でした。

私も彼の気持ちにも応えてあげたいので、なるべく気を遣わないようにしたり、自分の話や愛情表現も意識してするようにしていました。毎週末お出かけしたい彼に合わせて付き合ってからは毎週デートに出かけています。

ですが、最近になって、彼の発言や行動に傷つくことが増えてきました。
前よりも意識せずに自分の気持ちを伝えられるようになってきたのですが、彼には全然伝わっていなかったり、愛情表現をしても拒絶されることが度々あります。（彼いわく本気で拒絶していないし、そんなつもりはないとのことです）
私は冗談でも人を傷つける言葉は言いたくないし、自分だったらこういう気遣いできるのになぁと思うことも多々あって、一人で悲しくなってしまいます。せっかく自分の気持ちを話せるようになったのに、最近は伝えるのが億劫になってきてしまいました。どうせ傷つくなら愛情表現もしたくないなと思い始めています。

つい最近も彼の何気ない一言で傷つき、その場で彼に傷ついたことを伝えたのですが、「うん、そっか」と言われてもういいや…と話し合いする気にもなりませんでした。しばらくして、傷つけるつもりはなかったと謝ってくれましたが、ずっと心はモヤモヤしたままです。本当は彼の謝罪を受け入れて、今まで通り接したいのですが…。

どうすれば、うまく彼と自分の気持ちと付き合っていけるでしょうか。