嫌われ者の生き方

ジャンルで人間関係にしようか悩みましたが、職場の事なのでここに書き込みます。
タイトルそのままズバリです。バイト先の殆どの人に嫌われています。
職歴が浅く、又、手ノロなのでベテランの方からうざったく思われても仕方ないところがある上、私が他県出身者で、職場の平均年齢より随分若いという嫌われ要素は数多くあります。
しかも私は軽度のアスペ傾向があり少々空気が読めないところがあります。

40代50代の大きな子供も居て、仕事も社員に一目置かれるような人が、私と仕事内容で組まなければいけないような状態になると、これ見よがしで泣きまねをして仲良しグループとヒソヒソクスクスしたり、挙句に「誰か代わって」と顔を醜くして怒鳴る人（美人なのにもったいない）もいます。
当然、挨拶もしてくれません。
私は返答が無くとも業務について伝達したり、挨拶も相手が無言で顔を歪めるのを見ながらも自分だけしていました。
最近では聞こえよがしに悪口を言ってくれたり（えげつない事を指さして言われたのでここには書けません）心臓を押さえるジェスチャーまでしてくれるようになったので、さすがにヤバイと感じています。

私を無視したり特異な行動でダメージを与えてくる（あんまり傷付いていないので、申し訳ない）相手は私も無視していいのでしょうか？
挨拶や仕事内容の話はどうしてもしなければいけないと思うので、睨まれてもしてしまいます。
私を大きらいな人達は空気が悪くなると感じるらしく、一緒に仕事をするのが気の毒です。辞めてあげるのが一番なのですが、社員に退職の相談をしましたが流されてしまいましたし、本音は家庭の事情で辞めたくありません。
又、違う職場を探しても同じ目にあう可能性もあります。
難しい問題ですがお知恵をお貸しください。
アドバイスお願いします。