職場の事について

初めまして、よろしければご意見をいただきたく書き込みをさせていただきます。私は30代中盤の男性で、現在事務職をしています。
営業職として入社しましたが、それを続けることのできない持病を持っていたため、事務職になりました(詳しい病名は控えさせていただきます）会社では事務は私を含め3名です。2名は女性で40代前半(以下前半)と40代後半(以下後半)でとても仲がいいです。
転勤で現在の支店に配属になりましたが、売上的に事務が3人では持て余してしまう為、新参の私には仕事が回ってこず暇です(自主退社に追い込もうとしてるのかでしょうか？）
回りくどくてすみませんが、ここからが本題です
営業で男性はほとんどの時間帯出払っている為、3人になる事が多いのですが、女性2人が仲が良く会話にはいっていけません(基本ドラマや、芸能ゴシップの話をしてるので)、後、40代後半の方が、父親が病気で、付添いの為によく欠勤します。
そうなると２人になるのですが、全く会話がありません。

そんな日が結構続いたある日、後半の方が前半の方に対して「気持ちがわかった！」と言いました。その前日は前半の方が休みで後半の方と２人でした(会話はあまりしてません）多分影で私の事を言っていたのでしょう。それで「気持ちがわかった」といったのだと思います。席を外して内容を聴いていましたがやはり私の事でした。

その日以来、前半の方とは仕事の話ですらしづらいですし向こうも無視してるような状況です。対処方法がわかりません。みなさんはこんな経験ありますか？(ちなみに前半の方は話を聞く限り、自己中で性格悪いな～って感じの人です）