誤解されてしまい、自分が情けないです。。。

ちょっと困ったことになってしまい、皆さんのご意見をお聞きしたく投稿しました。

職場の女性達に、私（独身）が同僚の男性（既婚）と特別なお付き合いをしたがっている、と思われているそうです。
その男性と私は年齢が近く、一緒に仕事をすることになった時すぐに打ち解けられたことで、誤解されてしまったようです。
その男性は周りの人から冷やかされるようになり、真に受けたらしく、私を避けがちになってしまいました。
仕事上話さなければならない時でも目を合わせず、まともに取り合ってもらえない時もあって、ぎくしゃくしてしまいます。
その男性と仲が良い女性から「他の男性と付き合って」とまで言われ、打ち解けたことで誤解されてしまった自分が恥ずかしいと同時に情けなくなりました。
気にしないように努力するのですが、人前であからさまに避けられた時にはもう泣きたくなりました。。。
これからその男性に対してどう接していけばよいでしょうか？
誤解を解き、コミュニケーションをスムーズにしたいとは思いますが、下手に行動をおこすとかえって事態を悪化させるようで、何もできないでいます。