困った女子社員への対応

40人の中小企業でパートをしています。女性は私含めて6人で社員は2人です。パートでフルタイムは私だけです。社員はお昼休みもわざと男性社員がいない時間にとり2人でずっとしゃべっています。(男性方は食堂を使用しないか、女子社員が来るとどこかにいきます)それが悪口が多くて。(私もお茶だしで何度もその場にでくわしました。)なので、仕事以外しゃべらなくなったのですが、いつも夜遅くまで残る一番古い女子社員が、いつも遅い営業の方々にいろいろふきこんでいるらしく、営業の対応が変になってます。その人以外とはおしゃべりしたいのですが、私がみんなをさけているみたいに言いふらしていて、困ります。どうしたらいいのでしょうか。