新しい職場の人間関係

1年半ほど溜め込んできたことをここで吐き出したいと思います。私は秘書、ショールームの受付等の仕事を経て今の中小企業商社へ初めての事務職に就きました。（派遣社員です）
「前職が華やかだから、うちみたいな古くてぼろい会社には合わない」と言われましたが私は黙々と与えられた仕事をこなすタイプで、20代女子社員のグループとも仲良くなり飲み会やランチを楽しんでいました。お局様たちから「仕事はできるんだね」と一応お褒めの言葉も頂き、半年ほどは問題なく過ごしていたのですがそのうち飲み会やランチに誘われなくなりました。
まぁこれについては、お酒も飲まないですしランチのあと昼寝しているので仕方ないと割り切っていました。

仕事が嫌と思うきっかけになったのは、お局様の悪口です。ある社員のことを「あの子はなにもできない。ただのバカ」との発言をしていました。
「彼女は感情の起伏が激しい方ですけど、仕事は丁寧にやる方だと思います」と言ったところそれが癇に障ったのか、「窓際ポジションのくせに」と言われ最初は意味がわかりませんでした。
先輩に聞いたところ、私のポジションはいてもいなくても変わらない、誰でもできる窓際ポジションなのだとか。ちなみにほかの派遣社員は【営業事務】、私は【一般事務】。営業アシスタントではないから替えの効く、どうでもいい仕事。そんなふうに思われていたなんて知らなかったので、とてもショックでした。仲良くしたいたほかの社員の子たちにも後ろめたくて、どう接したらいいのかわかりません。
ちなみに挨拶や業務上の会話を無視するとか、あからさまに嫌な態度をとられるということはありません。ただ食事に誘われないとかプライベートの話をしなくなったとか、前に比べてお互い一線置いているような感じはあります。このまま黙々と仕事を続けていくほうがいいのでしょうか。