職場での何気ない会話について悩んでいます。

職場での何気ない会話が翌日には他の人に知られていて悩んでいます。 事務職（パート）ですが、時間帯によって社員の方と2人や3人になるときがあり、 お互いに日常の会話をします。（会話ができる程の時間が空きます。） 翌日その何気ない会話が、その場にいなかった社員さんから、 「○○さん、○○だって」など 言われる事が多いです。 何気ない会話と思いつつも、話したことが他の方に伝わっているかと思うと、 会話をすることを控えたほうがよいのか悩んでいます。 社員の方々は時間も長く、会話がなければ聞いた話になることもあると思いますが、 別にマイクを通して離したい話題でもないので、筒抜けなのは不安になります。 あまりにも黙り込んでいるのも、雰囲気も悪くなると思い、会話をした方がよいと思いますが。 気になるようなら、話をしないことというコメントではなく、 職場でのこういった経験をお持ちの方、 何かうまくお付き合いしていけるようなアドバイスをいただけないでしょうか？ ちなみにその場を離れたりすることはできない状況での仕事です。 よろしくお願いいたします。