彼氏の仕事の愚痴を聞けない私…

私（20代後半）、彼（40代前半）、以前の職場で出会い、現在交際1年半で同棲しています。医療職です。 私は彼と出会った職場と価値観が合わず、適応障害になり1年間休職し現在は違う職場にて復帰しています。 彼の方はまだ私と出会った職場で勤務していて、もうすぐ転職する予定です。 私が適応障害を発症する原因となった以前の職場での出来事は、私にとってとても嫌な記憶となっており、その職場の名前や最寄駅の名前を聞くだけでも心が締め付けられるような、トラウマのような状態になっています。 一方彼はまだその職場で勤務しているので、しばしば仕事の愚痴やその日の出来事などを私に話してきます。 私はその職場自体がトラウマなので彼氏には「ごめん、その職場がトラウマで、話聞くと動悸がするの。本当は話を聞いてあげたいし、聞ける時は聞くから。」と伝えてはいるのですが、彼氏は仕事の話を聞いて欲しいようで（私は少しはその話を控えてくれているなと思うのですが、彼氏にとってはものすごく控えているつもりだそうです）、相談に乗ってはしんどくなる…を繰り返しています。 彼は実年齢にしては社会経験が浅く、私の目から見ても、医療職としても社会人としても未熟な面が目立ちます。そのためか職場では評価されていないようです。彼は彼なりに頑張っているつもりなのですがなんせ不器用で要領が悪いので、評価されづらいのかもしれません。 できるだけ話を聞いてあげるようにしていますが、どうしても聞くとしんどくなります。 そして事あるごとに「さーは俺の仕事の話を聞いてくれない、俺は孤独だ」「トラウマと言われたら話せなくなる」と文句を言われます。好きで聞いてあげられないわけではないのに、そう言われると辛いです。 私の方は、仕事の愚痴は言わないタイプです。 どのように対処すれば良いのでしょうか…