職場で指の関節を鳴らす後輩の女性について

私よりも1歳年下の後輩がいるのですが、私の近くに座り始めてから、指の関節をよく鳴らします。
特に二人っきりになると鳴らす回数が多く、なんか威圧感を感じてしまいます。
なんか私に向けてやっているような気がしてます‥。
思い当たることとしては、昔私が入社した時に、部署で最も大変と言われる仕事を割り振られました。
夜遅くまで残業もあるし、夜中に電話もよくかかってくるような仕事でした。
それに加えて歳の離れた女性の先輩がいて、私とペアだったので、先輩のストレスの吐口にもされてました。
その時は、新入社員だし、頑張らないとと思い2年間続けたのですが、さすがに精神的にも限界がきて、違うチームへ移してもらいました。
その後、先輩は違う男性と仕事をすることになったのですが、当時の私と同じように先輩のストレスを当られて、男性は会社に来なくなってしまいました。
それから、部署で一番立場の弱い後輩にその仕事が回っていきました。
そして、飲み会の時に後輩から、私のせいで後輩自身が大変な思いをしている的なことを言われ、私に対して不満があるのかなと、その時から感じ始めました。
それまでは、仲良く話せるような関係だったので、こんな微妙な関係になってしまい、悲しい気持ちになります。
そんなこんなで、後輩に話しかけても目も合わせてくれないし、スルー気味な状態です。
今は後輩とは席が近いだけで、仕事上関わってないです。ただ、手の空いてる時は、関わっても大丈夫な範囲内でサポートはしています。
それでも、後輩の態度は変わらず、加えて1日に何度も指の関節を鳴らしてます。
指の関節を鳴らされると後輩は怒っているのかなって気になってしまうし、威圧感に押され気味です。
やっぱり気にしないようにしたほうがいいのでしょうか‥？