毒親と絶縁したい

初めまして。
私は３５歳主婦、夫３７歳、生後６か月の娘がいます。毒父に悩んでいます。昔から父とは折り合いが悪く、娘を産んでからは父に感謝の気持ちが少し芽生えたものの、あり得ない育て方をされた自分の過去を思い出してむしろ嫌悪感の方が大きいです。出産前に父と大喧嘩をして以来ほぼ絶縁状態でしたが孫が産まれてから孫と会いたいような雰囲気を母に見せているそうで、孫に会わせろと言われるのも時間の問題となってきました。実家は車で３０分で、母は週に１度孫に会いにきています。父は私が小さい頃は母に暴力をしたり、ギャンブル、浮気をしたり最低な人でした。子供達にも自分の思い通りにならないとすぐに怒鳴り、母は父に何も言えません。そんな父を私の娘に会わせたくありませんし、今後の私の人生に関わってほしくないです。そのためには父に会いたくないとはっきり伝えるか、やんわりと断り続けるか悩んでいます。父は年をとって丸くなるどころかどんどんおかしくなっているのではっきり伝えた時には何をしでかすかわからず怖いです。それに母のことは好きで娘もとてもなついているのですが、母が来ていると父も着いてきそうなので悲しいですが娘と今の生活を守るためには母にも来ないでもらおうかとも思います。
父は金使いの荒い人で預金がなく、お金を要求してきたりします。お金で解決するのならと月に３万円仕送りしていますが、そのうちもっと要求してくると思います。
ちなみに姉は電車で１時間ほどの他県に住んでおり、こちらも父とは疎遠です。
どうすればうまく父親と関わらないで済むか、絶縁した場合、親戚付き合いや子育てで何か困ることはありますか？（祖父母は他界）娘が１歳になったら保育園に入れて私も働く予定ですが、緊急時はシッターさんや義両親（車で１時間）に頼ろうと思っています。
拙い文章ですみません。