本当にセクハラ？それとも嫌がらせ？アドバイスお願いします！

相談させて下さい。
数ヶ月前から在宅で仕事を受注し始めました。
業務上、依頼主に直接会うことが度々あり、ミーティングがてら何度かランチをご馳走になったりしましたが、その際の依頼主に対しての印象は、ごく普通の常識的な方、です。が、ごく最近同じ業務をしている在宅ワーカーさんが急にお辞めになりました。
その分こちらに仕事が割り振られ、依頼主からお詫びとともに”事情があって‥”という言葉を聞いたので、その時は何かあった（私には関係のないことが）のだな、と、特に何も考えていなかったのですが、今日、私の携帯電話に非通知で着信がありました。

普段は非通知の場合電話に出ないのですが、外出中で慌てていて、誰かも確かめず、出てみたところ、いきなり”‥会社の‥さんは在宅ワーカーに手を出し、断られると嫌がらせをして辞めさせるので、気をつけて下さい。盗聴や盗撮もしています”と言われ、一方的に電話を切られました。

業務関係上、在宅ワーカー同士の個人情報は開示されており、開始時に私も問題ないと思って開示に同意していました。
非通知発信でしたが、タイミング、また私の依頼主について詳しく知っている人間は家族以外にいない事から、最近辞めた在宅ワーカーさんしかあり得ないと思っています。

今非常に混乱し、どちらを信じれば分からなく不安です。
依頼主が本当にそのような人物なのか、それとも辞めた在宅ワーカーが何らかの理由で依頼主に間接的に嫌がらせ（私を通して）をしたいのか、判断がつきかねています。かといって、依頼主に質すのも疑ってかかっているようでためらわれます。

皆さんならこの場合どのように対処されますでしょうか？アドバイス頂ければ幸いです。
ちなみに以前依頼主にちらっと聞いた話では辞めた在宅ワーカーの方は独身一人暮らし、私は既婚子持ち更に両親と三世帯同居です。