離婚後の面会について

子供が２歳前に離婚しました。

元夫は田舎の旧家の長男で、出産後親が亡くなり１０歳上の
義姉の言うことを全て聞かないといかない生活でした。

全て聞かないと相続放棄の印鑑を押さないと言われ、元夫は
「とにかく何も言わず、言うことを聞いてくれ」の一点張り。
病気の子供を連れて何件も挨拶周りをしたり、義姉一家と同等の付
き合い（うちは薄給でしたが、義姉宅は有名建築家に作ってもらった
という古民家）をするように言われたり、元夫は言いなりで「武士は食
わねど高楊枝だ」と言っていました。

義姉に「団地で育ったような者には分からないから教えてやって
いるんだ」と１時間怒鳴り散らされたり、生まれつき病気のあった
子供のことは「障害児で人に見せられないのか」と言われたり、
法事で会えば無視されたり、謝りに来いと言われたり。
３時間かかる実家に毎週帰省し、空家になった家に風を通すように言われて、
帰省していました。

元夫はその都度、言われたようにするようにと言ってました。

で、結果離婚しました。

相談はここからですが、全く面会もしていなかったのですが、
娘が会いたいと言い、最初は濁していたのですが、ある夜泣きじゃくり
「どうしてお父さんに会うことができないのか？」と言い続け、
私も困り果てて（自分の都合ですが）私の気持ちは封じ込め、今年の
１月に（子供は５歳）離婚後初めて会いました。

そして、夏休みにも１度会いました。

娘にいきさつを説明し、もう一緒にすることは不可能だと言いました。

が、「本当はお父さんのことが大好きなんだよ」と昨夜言われ、
子供にとってはやはり父親な訳で・・・どうするのが良いのかと
思っています。

私としては、年に２回が精一杯でしたが、会いたいときには会わせる
べきなのでしょうか？