もしかして都合のいい女？からの脱却

はじめまして。
ここ1ヶ月ほどですが、同僚と体の関係になってしまいました…
お互い恋人はおらず、フリーだし、自分も遊んだ、くらいに考えようと思ってました。
昔、彼のことが好きだったことがありましたが、様々な事情により、諦めたことがあります。
が、先日別件で連絡したところ、着信にも出ない、メールも返信しない。
私としては、全く彼氏になってもらおうという気はないのですが、
もしかしたら、彼はそういうのを恐れてるのかもしれません。
話ができないので説明ができないのが歯がゆいです。
嫌なのが、今後仕事上でも関わりが増えそうなんで、気まずいことです。
また、男同士って「あいつは都合のいい女・ヤらせてくれる女だったEtc」と色々話すもんでしょうか？
新たに移るオフィスで彼の友達がいるので、嫌だし、そういう目で見られるかと思うと辛いです。
自分も他人も尊重した行動を取らなかった、また欲望に負けた自分が悪いと反省してます。
前を向いて自分を高めようと思います。
似たような経験をされた方いらっしゃいますでしょうか？
アドバイス頂けるとありがたいです。よろしくお願いします。