職場でどうしても嫌な人

中小企業にてフルタイムで働く女性です。勤続１０年になります。 同じ職場の３５歳の男性がとても苦手です。特にここ半年は目を合わせるのも嫌です。立場上仕事の指示を受けることがあるのですが、ひたすら書類に目を落としています。割と雑談の多い職場なのですが、その人とは全く雑談していません。 セクハラやパワハラ発言が多く、飲み会の帰りに待ち伏せされて腕を掴まれ「ホテルに行こう」と脅された事もありました（その人は既婚者です）。勿論何とか言いつくろって逃げましたが、次の日何事も無かったかのように接してきて、本当に気持ち悪かったです・・ 受け流す日々が続いていたのですが、何がきっかけかは分からないのですが、ある日突然全てが嫌になってしまいました。 けれどそんな自分に自己嫌悪の日々です。他の後輩達（全員男です）は嫌がっていても、雑談したり表面上は仲良くしています。「セクハラされていないからだよ。」と慰めてくれますが、やはり私の器が小さいんだと思います。近々遅めの新年会が計画されるみたいです。本音は欠席したいですが、年に一回の職場の飲み会なので今まで全員参加でやってきたため、非常に言いづらいです。しかし彼に話しかけられるかと思うと頭痛がするほど嫌です。 どうしたらここまで苦手になってしまった人への感情を和らげることができますか？カウンセリングに行ったほうが良いのでしょうか？心の持ちようや、アドバイス等ぜひお願いさせてください。 やめるのが一番なのでしょうが、二人の子供を抱えたシングルマザーなのでそれだけはできません・・