実父が怖くて聞けない

私は子供の頃から暴力や罵声の酷い父が怖い30代 パート女 1人の子持ちです。 5年前に結婚をし、旦那と楽しく生活を始めた矢先に突然の不倫が発覚。あまりに苦しく、産後うつとも重なり、新築がありましたが、母の助言で子供と実家に再度戻りました。 そこから、私の気持ちが旦那から離れずに離婚出来ず、病気も良くならず、3年間ずっと別居しております。 その期間は戻りたい一心でただ仕事のみをして過ぎていきました。(子どもとは遊んだり、出かけたりはしていましたが、基本は保育園と祖父母にお世話になっていました。生活費は旦那が両親に支払っていました。) ※私の給与はほぼ全額子どもの学資保険にしました。 ここ半年、離婚しない私への暴言や罵声の酷い父が苦痛になり始めました。(子供の前で、私か旦那を毎日罵るのが一番苦痛です。) 昨年秋から、旦那は会社で40代に差し掛かり昇進という名の転勤族になり、新築だった家は空き家同然。 私は子どもの発達障害の為に、正社員を辞め、パートになり、療育に通い始め、その家に戻りたいと願うようになりました。 戻りたいと旦那に伝えると、、旦那は管理していた生活費を私に言わずに私の先月から実親に任せてたことが発覚しました。旦那は沖縄にいるので、飛行機代等で、私たちの生活費を入れられなくなったのを父が怒り倒したからです。 私は実父が嫌いなので、とりあえず旦那のいた家に戻り、生活をしたいのですが、 父はお金はどうする！孫を置いて出ていけばいい！お前は二度と敷居を跨ぐな！恩知らず！と逆に迫られました。生活費は旦那と合わせて約35万。ローンが8万です。 どうすれば、子どもと実家から出られるでしょうか。 長文、乱文申し訳ありません。説明不足な部分は後から追記するので、父の承認を得て、子どもと過ごす術が知りたいです。お願い致します。