義理実家へ行く頻度（夫の出張が多い場合）

トピを開いていただきありがとうございます。
私は３２歳、夫３０歳、子供なしの結婚４年目夫婦です。

職場で何気なく義理の実家へ行く頻度を話したら、
色々な意見が出たのでこちらでも相談させて頂きたく投稿しました。

・夫は出張で１ヶ月のうち、１５日～２０日は家にいません。
・共働きで、二人とも土日休みです。
・二人で土日を過ごせるのは、月に１～２回。
・夫の実家へは、電車で８０分。
・私の実家へは、新幹線で３時間その後車で２時間。車だけだと７時間。
・夫の実家へは年に５回位行きます。私の実家は年に１～２回。
・不妊治療中です。
・夫は私の実家の養子になっています

お義母さんから主にお誘いの連絡があります。
大切な息子を頂いたという恩義もありますので、
誘われたらなるべく行くようにしています。
夫にはお兄さんがいて、結婚して子供もいます。
お義兄さん家族は、義理実家から車で１０分のところに住んでいます。

私のストレスは、記念日など、夫と二人で過ごしたい日に
「○○（夫）ちゃんと、みどりちゃんの誕生日会しよう！」と誘われて
ここ数年は、出張や義理実家からのお誘いが合い重なり、
二人で過ごせずにいます。

私が我慢するべきか、少しは断っていいのか、
宜しければ、ご意見お願いいたします。