実の父と縁を切りたい

私は３０代後半の女性で、共働きの夫とこどもの３人暮らしです。
ご相談したいのは、実の父と縁を切りたい、ということです。
私の母は私が中学生のときに父と離婚しています。
原因は、父の酒癖の悪さによる暴力です。
普段はおとなしい人だったようですが、お酒が入ると人が変わり、暴力をふるいました。そのため私たちは父が暴れだすと、息をひそめて家から逃げ出していました。見つかると殴られるため、必死で逃げました。私には幼少期の記憶がほとんどありません。父が暴れている夜の光景だけが強く頭に残っています。
養育費は住んでいた家と相殺でした。これまで連絡を一切取っていなかったのですが、最近になり、私が結婚してこどももいることを誰からか聞きつけて、なんと職場に電話をしてきたのです。
職場の人から「○○（旧姓）ほっといてほしいさんの父親だという人から電話が入ったけど・・・折り返し電話してもらっていいですか？」と本当に父親なの？と怪訝そうに言われました。
無視をしていたのですが、今度は職場に私が不在時、直接やってきました。今度は私の結婚後の姓を告げて面会を求めたとのこと。
堪り兼ねて父の家に電話し、二度と職場に来るな電話するなと告げたのですが、私の怒った声を聞いて「ああそう分かった！」と父は電話をガチャ切りしました。
私は不安です。また父が接触を取ってくるのではないかと。
私は父が大嫌いです。でも、父の実子は私だけです。
実の父と縁を切る方法はないのでしょうか。
このままだと父が死んだときに、親戚からどんな連絡をされるかもわかりません。
今の職場は大学卒業御からずっと勤めていて、待遇も良く、辞めたくありません。
父と縁を切り、一切の連絡が来ないようにするには、どうすれば良いのでしょうか。同じような経験のある方がいらっしゃれば、ご教示ください。