元旦那が私の実家で働き続けています

30歳同い年子無し元夫婦、性格の不一致と金銭感覚の違いから一年前離婚しました。
元旦那と元義母は私の母の小さな会社で働いており離婚後も継続中です。彼氏だった元旦那を母に紹介したのは私です。
元旦那は野心家で、私と離婚後も自分が時期社長になれるようがんばって働いている様です。（私は生活を共にしている中で仕事に対する不真面目な面をたくさん見ているため、その後のことは知りませんががんばっているということには完全に同意はできません。）しかし、離婚後同じ会社で働く私の妹に地位を奪われるのではと危惧したのか、妹に強くあたったり、不当な扱いをしていることを知りました。そういう人間性であることは承知の上で自分の家族に関わらせてしまい今更ながら後悔しています。
口が達者で人に取り入るのがうまいため、私の家族との関係は良好な様です。家族も元旦那の性格を知った上で、うまくやるからと言っています。

離婚理由は、私と猫のせいでお金がないから家族カードを止めた、とゴルフ帰りにいきなり言われ、鬱憤がぷつんときてしまいそのまま離婚を申し出ました。家族カードでは日用品と猫の物しか買っておらず保護猫を飼うことにも同意がありました。私は離婚前にパートを始めましたがそれまで専業主婦をしており、金銭管理は任せっきりで、大体の預金額を把握しているのみでした。元旦那は中古で外車を買ったばかりでしたのでお金がなかった理由は恐らくそこだと思います。

以上の経緯から、私は元旦那のことを生理的に嫌悪しており金輪際関わりたくないと感じています。しかし実家と関わっている以上完全に縁を切ることが難しいのです。また、実家が事務所になっているので実家に帰ることもできず、このままでは家族が築いたものが奪われるのではないかという不安もあります。
自分の蒔いた種ですが、未だ働き続ける元旦那を不快に思うのは間違っているのでしょうか。