大嫌いな人と2人きりの職場

私はこれまでOL経験が主で、いろんな人と働ける職場はとても楽しく、仕事ってこんなに楽しいもんなんだなーと思ってきました。人間関係で煮詰まったことは一度もなく、社交性を高く評価してもらう方でした。
ところが、今の職場は私と男性1人の、2名だけの会社で、運が悪いことに始業当初からその人を大嫌いになってしまいました。
人間性の面で根本的に許せない部分を何度か見てしまったので・・・数年過ぎた今でも胃が痛くなったり精神的に辛いです。さらに職場はとても狭い室内で、近くに来られたりする度に「近づいてこないで！」という恐怖心のストレスをほぼ常に感じ、来訪者があるたびに2人きりじゃなくなることにホッとして、つかの間の安堵、その繰り返しの日々です。ただ相手の視線を感じるだけでも不快感を覚えるほどで、声も聞きたくない、ということもよくあります。
平気なふりを通して、かえって無理がたたって神経質になっているのかもしれません。
これまで派遣の仕事などで転職が多く、30代前半という年齢的に転職するべきか迷っています。これまでその同僚を好きになろうと努力もしましたが・・数年過ぎた今、精神的限界を感じ始めています。この試練を乗り切るべきか、お給料が多少低くなっても潔く転職するべきか、自分の判断力も鈍ってきたため、（あまり具体的な状況を記載できなくて申し訳ないのですが）他の方から冷静な意見をいただけるとありがたいです。