離婚後の面会で悩んでいます・・・

娘が１歳の時に別居→離婚しました。 娘が生まれてすぐに義母が他界、そこから１０歳年上の義姉と 元夫（田舎の旧家の長男）が遺産相続でもめ、全て義姉の言う ように行動しないと相続放棄の印鑑を押さないと言われ、言い なりの日々でした。（義父は結婚前に他界していました） 転勤しており、実家まで片道２時間かかりましたが、赤ちゃんを 連れて毎週帰省し、お盆提灯をともせと言われたり、娘が肺炎で 入院寸前（その後結局は入院したのですが）だったのですが、出 産の内祝いは赤ちゃんを連れて、義姉の指定した日に親戚全て回 れなどなど、私からすると無理難題？という感じでしたが、元夫 は、「亡くなった父親に家を見るのは、おまえだと言われていた し、どんな事をしても相続しないといけない」と子供の犠牲は仕 方ないというような考えでした。元夫に「遺産は（欲しがってい る）義姉さんにあげて、親子３人で暮らしたい」と言いましたが、 「家族より家を取る」と言われました。最後は「死にたい」ばか り言いだし、私や子供も道連れにされるのでは？と思い、実家に 逃げ帰りました。 娘は、今５歳になり、最近「お父さんはどんな人だった？会いに 来てくれないかな？」など口にすることがあります。 「会いたいの？」と聞くと「それは、会いたいよ」と言われ、 「お母さんが努力しないといけないかな」と言いましたら、察した のか「（会わなくて）大丈夫。赤ちゃんの時の写真を見て、思い出 すから」と言われました。 子供にとっては、父親な訳で、自分の都合だけで面会もしないとい うのもどうなのか？とも思います。 でも、今は落ち着いて生活できていて、乱されたくないという気持 ちもやはりあります。 子供のためにどうするべきなのか？ 非常に悩んでいます。