両親の実家に帰省するのが苦痛です…

２０代前半の女性です。両親の実家に帰省するのが苦痛です。
私は持病があるため非正規雇用で働いています。治療はしていますが今の私の稼ぎでは自立は出来ないので、実家暮らしです。
幼いころは帰省は楽しみで仕方がなかったのですが、現在は病気の影響で長時間の移動や小さい環境の変化などで体に不調をきたしてしまいます。帰省でのダメージは帰省後数日間残ってしまうので仕事も辛くなってしまいます。
また、私の病気を理解して採用してくれた職場に穴を空けてしまうのも気が引けます。
日帰りで行ける距離ではなく、土日やお盆など職場から必要とされる時期と帰省が重なってしまいます。
特に父の実家に帰省するのが苦痛です。
私はハウスダストやヒノキのアレルギーがあるのですが、父方の実家はお世辞にも綺麗とは言えず、外もヒノキがたくさん生えているので、帰省する度酷いアレルギーに悩まされます。
また祖父の食べ方が汚いので食欲が失せます。父方の祖父母にはそのことについて話をしても伝わらず改善されませんでした。
父の祖父母も母の祖母もとても大切なのですが、私ももう成人しているので両親の帰省に毎回ついていかなくてもいいのかなという気がしていきました。
今までは私の受験シーズンでも帰省していたので帰省には付いていくのが当たり前だと思っていたのですが、体調や生活スタイルが変わって帰省するのが辛いと思うようになりました。
病気は少しずつ良くなってきており、給与や将来の事も考え出来るだけ仕事に打ち込みたいです。
帰省によって体が辛くなること、仕事に穴を空けてしまうことなどは両親には伝えてあり、行きたくないのはなんとなく伝わっていると思いますが帰省するように促されます。
帰省は年に２～３回程度しか無いですし、私が病気のために実家に住んでいるので断るのも悪い気がするのですが、どうしたら良いでしょうか？