対策対応方法を教えて下さい。

梱包作業のパートを初めて5年になります。 40代後半から50代前半（子供は、成人した人ばかり）の7人で、協力しながら、働いてきました。 1年前に40代前半の独身女性（A）が入ってきたのですが、初日から挨拶なしでした。 同じ作業をするパートとは、一切話をしないのですが、年齢問わず、20人程の男性社員とは冗談を言ったり、笑い声を出したりします。 梱包作業は、雑で軽い物の上に重い物を置くなど、ビックリするような行動がありましたが、黙ってフォローしてきました。 先日、上司から7人のパートがそれぞれ呼び出され、パートの2人が仕事中に（A）の身体的悪口を言っているかの事実確認でした。 仕事中に、作業の確認以外で話す事はありません。休憩室では家族の愚痴や晩御飯の献立などは話ますが。と事実のみを伝えました。 人付き合いが苦手だと思い、最低限の作業の話しかした事がなく、好き勝手にしてきてるのを、黙認、フォローしてきた事も伝えたのですが、 上司から「ここだけの話ですが、苦手ではなく、パートと話すと過呼吸になるそうです」と言われました。 ひとことも話さないのに、過呼吸？ 根も葉もない事を上司から言われ、2人は辞めてしまいました。 辞めた2人からは、上司も社員も洗脳されているから、気をつけて。と言われましたが、、、 2人が辞めて、1週間。 今まで通りに仕事はしていますが、2人抜けた分は男性社員が手伝いにきています。 男性社員とはキャピキャピで話をしている姿を見ると、怒りしか湧き上がってきません。 家族には、Aは病的な感じがするから、今後トラブルに巻き込まれない為に、辞めるように言われてます。 梱包作業は好きなので、辞めたくないです。でも巻き込まれたくもないです。 どのような対策対応をすればよいでしょうか？