義祖父の法要に出席しなくてはいけない？（愚痴です）

子供2人（小学生・1歳児）のいるランドセルです。

先月、夫実家から３０分程の距離に住む義兄（夫姉の配偶者）の祖父が亡くなりました。
私達夫婦とは血の繋がりのない祖父（１度しか面識がない）ですが、日曜日だった事もあり、日帰りで葬儀に参列しました。（車で片道4時間程の距離です）
義姉・姑共に「遠いから来なくていいよ」と言われましたし、翌日は仕事・子供は学校があるので、夫に「葬儀には欠席し、次回の帰省時にお線香をあげさせてもらうのは？」と打診しましたが、「連絡がきたからには参列しないとダメだ。お前の実家は墓がないから付き合いがわからないんだ!!」と言われ、参列した次第です。

先日、夫宛に４９日法要・会食の旨の葉書が届きました。葬儀時、喪主の方から「遠いのにごめんなさいね」と言葉をいただいていたので、夫も今回の法要に呼ばれるとは思っていませんでした。
現地まで新幹線・在来線を使い向かう事も可能ですが、「現地は車がないと不便（最寄駅からタクシー使用で片道５０００円位かかる）、高速は１０００円。車で帰省する。お前も出席しろ」と言われました。義姉からは「夫と舅（夫父）のみ席を用意している」と聞いていますが（姑も呼ばれていません）、私は出席しなくてはいけませんか？

通常、夫実家への帰省時は夫が運転しています。（私は車の運転は得意ではないので、帰省時は荷物があって大変でも電車利用したい考えです）今回は移動時の長時間の運転はイヤだから、私に運転させようという考えのようです。
義姉は義両親と亡くなった義祖父の３世帯同居です。夫は姉の顔を立てなくては　と思っているのかもしれません。正直私は、無理して出席せず、仕事を理由に欠席でもいいのでは？と思っています。
ちなみに・・・友人等周囲の意見は「夫のみ出席」でした。