元カレと結婚相手が同僚

大手企業に勤務していて、24歳のときに同期の元カレに告白され交際しました。
正直、元カレに告白されたときは特に好きではなかったので迷ったのですが、24歳で彼氏がいたことがなく焦りもありとりあえずと言うことで交際してみたのですが、人の悪口を言ったりする人で上手くいかず、4か月くらいで別れました。

その後、異動になり半年くらいして彼と交際開始し、1年半くらい交際して、今度結婚式をします。
そこそこ大きな企業なので彼と元カレは直接の面識はないと思いますが、お互い本社勤務なので共通の知人は何人かいます。
彼は元カレと付き合っていたことは知りません。

今困っているのが、元カレが私の結婚を知って、彼のことを知っている人に、彼が結婚するmikoは俺の元カノだと話しているようなのです。
しかも、私が元カレと別れてすぐ彼と付き合い始めたとか、別れた後も連絡を取っていたとか、私が軽い女であるかのように話しを膨らませて吹聴しているようで、同期の友人が心配して教えてくれました。

元カレと別れて半年後くらいに彼と付き合い始めたことは事実　ですが、元カレが別れた後も連絡してくるので同じ部署にいる間は邪険にしにくく返信をしていただけで、彼と付き合い始めてからは最初の数回返信した後はブロックして連絡を絶っていました。

結婚式に来る何人かの人はその話を耳にしているみたいです。

元カレには、同期の友人を通じて、これ以上変な噂を流すなら会社に相談すると釘を刺してもらいましたが、
既に話を聞いている彼の知人が心配して彼に話してしまうかもしれず、彼に話すか迷っています。

こういう場合、周りから聞くよりは自分から話した方がよいと聞きますが、どう話していいか分からず、万が一破談になったらと不安です。

社内恋愛のリスクを深く考えず、安易に交際してしまったことを深く反省していますが、不安で夜も眠れません。