借金癖のある義理父に子供を会わせることで悩んでいます

4年前、借金癖のある義理父、主人、主人の母、義理父、私で何度も話し合った結果、主人の母が離婚を決めました。 その後、義理父は家を出てゆき（借金の返済のため主人の母のお金を勝手に使ったりしていたため、家は主人の母が住むことになりました）ました。 母一人で暮らすのは不安だというので（当時60歳前だったので若いのですが）、私たちは母の住んでいる向かいの家を2世帯住宅に建て替えて一緒に暮らすことになりました。 でも、建て替えてから義理の父が週に1回帰ってくるようになりました。最近では週に2～3回で、しかも泊まっていきます。元夫婦のことなので勝手にしたらいいと思うのですが、子供が義理の父と遊ぶことだけがどうしても許せません。 離婚した当初、子供はまだ私のおなかの中にいました。 借金を全部返済し、けじめをつけてからだったら会ってもよし、と決めました。 返済は進んでいるようですがまだ終わっていません。 泊まりにくることに関して、私たちには一切連絡なしです。 はっきり言って、何度も嘘をつかれているいるので私は義理父のことをまったく信用していません。 義理父と遊ばせたくないというと、母がかわいそうなので言いたくはないのですが、ケジメもつけず、一言の謝りもなく当然の権利のように子供に接する義理父のことは生理的に許せません。 義理父がいるときは、子供を母の家に行かせないようにしていますが、いつものように行けないことを子供に説明するのも嫌なので、結局行かせてしまいます。 このまま私が我慢すれば波風は立ちませんが、私にはかなりのストレスなのでできればこの状況を変えたいと思っています。何かアドバイスがあれば教えてください。よろしくお願いします。