40代子無し夫婦の帰省について

晩婚の40代夫婦です。夫の実家は新幹線、在来線を乗り継ぎ4時間の距離、私の実家は新幹線と在来線を使い義実家とは反対方向に2時間の距離にあります。

私の実家との関係は昔から薄く、休みが不定期な家族ばかりだった事もあり独身の頃から気の向いた時に帰省する形でした。しかし夫の実家は全員が土日休み、義父母は引退した年齢で年末年始とお盆、GWに皆が帰省しています。

私の実家へは1年以上行ってませんが夫の方へは毎度帰省、その他冠婚葬祭があれば帰省、入院等体調の変化があれば帰省をしてきましたが正直、毎回疲労が半端なく翌日からの仕事にも一週間は影響してイライラが続き、ついに今回爆発してしまいました。帰省回数を重ねれば慣れると甘くみてましたが気疲れはそれ程変わらなくむしろ体の疲れは何年増す一方のような気がします。

嫁として顔を出さなくてはならないと思いますが、体力が無く仕事へのパフォーマンスが落ちるのが嫌、以前は慣れない布団の上げ下ろしでギックリ腰になってしまった事もあります。親戚付き合いが煩わしいと思ってくるようになってしまいました。

勿論冠婚葬祭は必ず顔を出すつもりですが、それではだめでしょうか？親兄弟その嫁子供が全員集まる家では私のような自分の事を第一に考えてしまう嫁の場合、結婚不適合者であり夫の事を考えて離婚した方が良いでしょうか？子供が出来にくい年齢に差し掛かり、夫との性の関係も億劫で断り続けています。
アドバイスをよろしくお願いします。