別部署の元カレが悪口を言いふらしているようです

３４歳で既婚（妊娠中）の事務職です。東北地方に住んでいます。 夫は３つ年上で教員です。 今の夫と付き合う前は、同じ部署だった人とお付き合いをしていて、上手くいかなくなって別れました。４年前の話です 　その人が、別れてからわたしの悪口をわたしと彼の共通の職場の知り合いに言いふらしているようでとても困っています。 　彼は正直見た目がいいとは言えません。でも、愛想が良く丁寧で大変誠実な人に見えるので、何を言っても彼の言ったことはすべて本当の事のように思えてしまうんですね。それを聞いた人から無視されるなど被害にあっています。 これでは精神衛生上良くないので彼に直接申し入れしようと思いますが、悪口を言っているというのはわたしの推測です。推測でも言うならどのように言ったらいいでしょうか。 　別れた原因のひとつは体の付き合いがなかったことです。この彼の前に付き合った彼からセフレのような扱いを受けていたので、何かと思い出してしまって手をつなぐのも難しい状態だったのですが、それを言うことができずに触れることも避けてしまい勘違いされたことが大きな要因だと思っています。 　わたしたちは電話での連絡をしていなかったので（お互い恥ずかしく感じて電話が出来なかった）コミュニケーションはメールか直接会うという形だけでやっていました。 　会えない期間が長いと長文メールになってしまうことがよくありました。初めは彼もそれに付き合ってくれていたのですが、「おやすみ」というだけのメールとか、しまいには返事をしないというところまでいってしまいました。電話もなく、メールもなく、これでは何のため付き合っているのかもわからず、どうしたらいいのかと問い詰めたところ、それすらも無視されたので別れました。 　皆様のご意見などお聞きしたいです。どうぞよろしくお願いします。