バイト先の苦手な女の人

バイト先での人間関係についてご相談させてください。

私はバイト先で嫌いな人がいます。
私は21歳大学生。嫌いな人はひとつ上のフリーターの方で、仮想通貨などで貯蓄があり働かなくてもいいけど、人と関わりたいのと外面のために働いている人です。

その人とは初めは仕事を教えてもらう必要があり仲良くしていましたが、最近はその必要がなくなったので話さなくなりました。
１．その人と話していると男好きなところもあり私だけ急に仲間はずれにされたり、
２．たわいのない話でなんの前触れもなくため息をつかれたり、
３．周りの人を見下す発言が多く、私も何かしら言われていそうだなと考えてしまったり
４．私がその人の恵まれている環境に嫉妬してしまったりと
一緒にいて傷つくことが多かったため、最近はめっきり話さなくなりました。
また、その人は「子供」で自分のことをかまって持ち上げてくれる人が好きなので、私から話しかけないと話すことはありません。

話さなくなったことでとても心が軽くなり、自分のやりたいことに打ち込めるので充実していました。

しかし、私と嫌いな人が話していないことで空気が悪くなり、周りの人が心配しています。
もともとバイト先は暇な時間が多く、雑談の時間が多いところなので余計気になるようです。

周りの人は好きなので、気遣わせたくないなと思い、嫌いな人とも話してみることになりましたが、やっぱり自分が傷つきにいくだけなので話したくないなと思ってしまい、これからどう接しようか迷っています。
ただ、バイト自体は忙しくなくここまで楽なところはないなと思っているので今のところ辞めたいとは考えていません。

周りの人に気遣わせてしまうし、嫌いな人とそれなりにも上手くできない自分が嫌になります。
みなさんはこのような状態のときどうしますか？アドバイスなどお聞きしたいです。
よろしくお願いいたします。