両親離婚後の墓参りは無視？

私の両親は離婚しています。 私達兄弟３人は母に引き取られています。 自分勝手な父に家族全員が相当な迷惑を掛けられてきたので絶縁です。（父本人が蒸発しました）ですが、祖母（実父の母）が入院した時、亡くなった時はきちんと私達もお葬式などに出席しました。 お墓は今住んでいる地域から遠い事もあって全くお参りに行っていません。 私達も母と同様、父とは一切関わりたくはないのですが祖母のお墓参りや、この先父の死まで無視する事になってもいいのかと考えています。 絶縁していても私達と血の繋がっている祖父母と父親、そしてそのお墓。守っていくべきなのでしょうか？