離婚した父方祖父が危篤です。通夜とお葬式は出席してもいい？

はじめまして。
幼い頃に両親が離婚し、私と兄弟は母方に引き取られました。
年に数回、父がどこかに連れていってくれました。
幼い頃は祖父と祖母と一緒に暮らしておりました。
祖父が病気で入院した頃に父から電話が入り（最近）、祖母が一人で退屈しているから祖母の家に行ってやってくれ。と言われ、ちょくちょく祖母の家（小さい頃住んでいた家です）に泊まりに行っていました。
父は、数年前に再婚し、子供が生まれたみたいです。（会ったことありません）
それで、父は祖母の家ではなく違うところに家を借りて住んでいます。
なので、私も頻繁に祖母に会いにいけるのですが。

そんな状態なので、祖父が亡くなってしまって、葬式には私達兄弟は出席してはいけないのでしょうか。
母に聞いたら、あちらの奥さんや奥さんの親戚が来るから、焼香したらすぐに帰ってきなさい。と言われましたが、父とは血が繋がっているんです。
葬式でも私達兄弟は孫として最後まで出席することはダメでしょうか。
父に聞けばいいのですが、今の奥さんに気を使っているみたいなので、聞くのが恐ろしいです。
私みたいな立場の方、祖父や祖母のお葬式は出席しますか？？