離婚後の子供と父親

離婚協議中の30代女性です。2歳と4歳の息子がいます。離婚原因の発端は夫の不倫です。その後色々あり、両家を巻き込み別居となった後、子供との面会で度々揉めました。私は会わせたくないとは思っておらず、毎週末会わせていました。しかし、一度面会の時間帯変更のメールを見逃しました。すると、謝罪を繰り返しても、父親は激昂し、暴力行為、警察沙汰になりました。それでも、面会を続けようと努力しましたが、気に入らない言動があったり、また、子供が発熱で休ませますと申し出たりすると、脅迫（ぶっ殺すぞ、押しかけるぞ、子供を連れに行くぞ、など）や暴言をしてくるようになりました。

精神的に耐え兼ねて弁護士をはさみましたが、話し合いにならず、父親は「会いたいけど私の対応がこのままならもう会いたくても会えない」といってきました。私もこれまで何度も子供には会ってほしいと、酷いことを言われても、恐怖の中耐えて子供のために面会させてきました。でも今回は「私は間違ったことはしていません。もう、とめません」と言ってしまいました。このようなことで子供と父親の縁を切ってもいいのでしょうか、、子供のことを思うと辛いです。