父親と会いたくない

私は３３歳の既婚女性で、夫ともうすぐ２歳になる子供と三人で暮らしています。 来年には二人目の子供も生まれる予定です。 このたび相談したいのは、私の父親に対する不信感・不快感についてです。 私には幼少の頃から持病があり、入退院を繰り返し、何度か手術を受けました。 中学卒業後は入院するようなこともなくなり、多少の不便はありますが普通の生活ができるようになりました。 持病のことがあったため、体力が必要な仕事よりもデスクワークで自立できるようにと思い、学校は休みがちでしたが大学に進学し、大手企業に就職することができました。しかし父は大学進学に大反対でした。 就職後、父から私の養育（持病治療・学費）にかかったお金を返すように再三請求され、「×００万しか用意できない」等返答すると、「ちっ（舌打ち）、そんなこと言わずに金出せ！」といったような発言をするようになりました。 父は仕事人間で、ギャンブルや散財はしないのですが、なにせケチで母にも生活費を渡さないような人です。そのため、生活費はほとんど母がパートで働いたお金でまかなっています。 しかし、このような父でも孫はかわいいようで、「いつ実家に帰ってくるんだ？」「今度こそ里帰り出産だろうな？」「三人目の事ももう考えろ」と本当にしつこいです。 子供が生まれてからは２度帰省しましたが、そのたびに離乳食を始めたばかりの子供に牛乳や蜂蜜を与えようとしたり、抱っこのまま車に乗せようとしたり、目がはなせません。 私は父とは極力一緒にすごしたくないため、また幸い実家が遠いため、２年に一度ほどの帰省時に２，３泊するのが理想です。夫もこのことには理解を示してくれています。 しかし、今後は子供たちをもっと頻繁に父母と会わせるべきでしょうか？ 私も母とは会わせてあげたいのです。 過去のことにこだわっている私が子供なのでしょうか？