些細な仕草が気になって嫌になります

先日、20代後半で独身の上司に告白して振られました。 振られてからしばらくは、私にだけは絶対に話しかけないなどあからさまに避けられるような状態が続き、正直苛立ちを覚えておりましたが、極力普通の態度を貫いた結果、最近では以前よりも親しげに話すようになりました。私の方が年下で部下ということもあり、妹のような扱いを受けています。 ただ、最近私と話しているときだけやけに目や鼻を触ったり、うなじをかくことが多いのが気になります。 緊張を顔や態度に出すことが本当にない人で、私と話しているときだけそのような仕草を頻繁にするので、意識されているか私との会話をストレスと感じられているかのどちらかだと思うのですが、そういう些細な仕草をいちいち気にしている自分が気持ち悪くて嫌になります。 好きでない同僚には女性であっても素っ気ない態度を取る人なだけに、からかったり優しくしてくれることに対してまだ諦めなくてもいいのかなとか、淡い期待を抱いてしまう自分が本当に嫌です。 誰か吹っ切るためのアドバイスをください。お願いします。