恐怖心から義父に会えないでいます

2年前に関東に住んでおり、そこで夫（長男）と結婚しました。（結婚前より夫の実家近くに居住）

結婚してしばらくした後に妊娠し、お腹の子どもを母体原因で死産しました。

夫は、私を家で一人にしておくのが心配だということと、次は死産にならないようにと私の実家（地方）に二人で帰って、支援してもらおうと言ってくれました。

義父はもともと厳しい人で、相談したら反対されるからと、決意を固めてから私の実家に帰ることを話しました。

義父からは、「死産したのはおまえたちがこちらに（義母）助けを求めなかったのがいけないのではないか」
「墓を守らないといけないんだぞ」
「俺が死んだらこの家族を支えるのはおまえたちで、こちらの借金も返していけ」「おまえたちが家を建てたらそれを売ってでも面倒をみろ」
と半分脅しのように言っていました。

妊娠中、義母は夕飯など作ってくださり、助けを求めていない訳ではなく、義父が知らなかっただけです。
ただ、やはり妊娠中は義母よりも実母のほうが頼りやすく、夫もそこを考慮してくれ、話し合ってくれました。

夫の家族を捨てる気持ちなど全くありませんでしたが、私の実家にお世話になるということが、義父にとっては捨てたも同然だったのだと思い、申し訳なく思っています。

実家にお世話になってから、子どもを無事出産することができ、夫の実家にも子どもを連れて会いにいくのですが、以前義父より怒鳴られた記憶が消えず、家に伺おうとすると吐き気や頭痛腹痛でなかなか足が向きません。

この前は、夫が「嫁が怖がって会えない」と義父に言い、義父も悲しそうにしていたと言っていました。

義母は、私達夫婦が引っ越すと同時に、離婚すると言って、弁護士をたて子ども（妹、弟）を連れ家を出ていきました。
優しい義母もいないなか、義父に会うのが怖いです。

どうしたらいいか分かりません。