週末婚の悩み

新婚ですが、とても悩んでいます。
お互いの仕事の関係で週末婚をしていて、私は単身で住み、夫は二世帯住宅（キッチン、玄関別、風呂共有）の義実家に住んでいます。週末は二世帯住宅として、夫と私の家でもあるのでその義実家に帰ることもあるのですが、現在義妹夫婦が二人目妊娠のためずっと里帰りをしていてとても気を遣います。
例えば物音を立てるのも控えたり、お風呂に入るのも最後のほうに入ったり…
それに夫はふだん、二世帯住宅の新築のほうではなく母屋で義両親や義妹夫婦と一緒にごはんを食べたり過ごしたりしているので、私が週末に帰ってもそのスタイルで母屋で過ごそうとするので母屋で食事をとることになり、常に緊張状態です。
とても夫の家に帰るのがおっくうで、週末婚なのにこのままだと夫と会うのも足が遠のいてしまうかも…と思うとすごく不安です。
それに、私たち夫婦も早く子どもが欲しいと思っていますが、義妹夫婦も同居している二世帯住宅の家で育てていけるのか？私たちはどこで育てていくのか？と考えると滅入ってしまいそうです。
毎日モヤモヤとしてしまっています。