夫の帰省について

結婚して２年目の子どものいない共働き夫婦です。
ペットを飼っています。

今回が初めてではないのですが、義理の実家への帰省についてです。
実家へは新幹線と電車で３時間ほどです。

例えば、
夫：５連休
　私：３連休
だとしたら、ペットを飼っているので最大で一泊二日しか義理の実家へ帰省できません。
その場合、夫は５連休帰省しているから私は一泊二日か日帰りで一人で帰ればいいといいます。

何年も遠距離恋愛で私が彼のところへ通っていて帰路につくとき何回も淋しい思いをしていたのもあり一緒に帰りたいのです。
一緒に帰りたいといいましたが、義理の両親も夫もなぜ一緒に帰らないといけないかわからない、夫だけいればいいといいます。

長期休暇になると毎回帰省する話がでるので正直苦痛になってしまいます。

ちなみに義理の実家は両親と兄がいます。

正直、私といるのは苦痛なのでしょうか・・・