幼い頃離婚した父にモヤモヤ

はじめまして。
30代主婦、幼児2人の母をしています。
自分でも何にモヤモヤしているのかわからず、吐き出させて下さい。

私が3歳の頃に母の不倫により両親が離婚し、母と不倫相手の男に育てられました。
実の父はその後、事実婚ですがシングル子連れの方と再婚し、幸せに暮らしているようでした。
私が高校生の頃に一度会ったくらいで連絡も取り合っていませんでしたが、第一子が産まれた頃から連絡をとるようになり、実父家族との付き合いが始まりました。
私も昔から心の隅に気にかけていた父が孫を抱っこして喜んでいる姿を見るのも嬉しく、最初のうちは年に何度かお互いの家を行き来し、初節句などの祝い事があればお祝いをいただいたりしていました。
しかし2歳差で第二子が産まれてから、新生児の世話に加えて上の子のイヤイヤ期や赤ちゃん帰りがすごく、育児ノイローゼ気味になってしまい付き合いが負担になってしまいました。実父が家に来て孫に会うだけなら気を使うこともないのでいいのですが、実父は必ず奥さんを連れてきたがりますし、煩わしい連絡のやり取りや日程決めは女同士よろしくと思っているようなのです。奥さんは優しい方ですが、表では私の子を可愛い可愛いと褒めて裏では自分の娘に「旦那さんに似て目が小さい」とLINEしていたのを知ってしまい(誤送信で私に送ってきました)心から打ち解けるのは無理で、あくまで他人という位置付けです。
孫に会わせろと催促が多いので、「今は大変だからしばらくそっとしておいて」とLINEしたところパタリと連絡がなくなり、毎年送られてきていた子供達への誕生日プレゼントも徐々に送られて来なくなり、疎遠になりました。
若干モヤモヤしつつも正直なところそれくらいの距離感がちょうどいいのですが、祖父のお墓の住所を教えてと久しぶりにLINEしたところ返事がなく、モヤモヤしています。続きます。