知人とたまたま同じ職場になったら、複雑な気持ちになる？

以前職場で一緒だった人に転職するからと言って辞めて新しい所に勤めています。 辞める前に「どんな仕事なの？どこ？」って感じで聞かれてざっくり話しました。 なんとなく検索すれば大体どこの仕事か分かってしまうほど、仕事の少ない地域です。元同僚は、私はちょっと苦手意識があります。その話をしたら「いいなー。それ」みたいなことを言っていました。後から入ってきたらちょっと複雑です。 そういう風に思われる方っていらっいますか？ 他の以前一緒だった職場で仲良くしていた人とは、「そこ辞めてうちに来なよ～（派遣です）」とかで転職したり、付き合うには問題ない人はそれなりに居ますが、ちょっと苦手な人・・つまり文句が多いとか気に入らないことがあるとすぐに口に出したり、自己主張が強すぎたり、過信がすごいのですごく疲れます。 家もそんなに遠くないし、もし一緒になったらヤダな～なんて思ってしまいました。 愚痴ですみません。