二世帯住宅のストレス

３０代前半の主婦です。 去年結婚して義父所有の二世帯住宅に同居しています。２階に旦那と私と１才３ヶ月の娘、そして１階には義両親が住んでいます。 結婚する前から既に新築で建てられていて、私も深く考える事なく同居を決めたのですが、今になって後悔しています。 まず、毎週末は既婚の義姉（旦那側）が娘と泊まりに来る事になっています。（義姉の旦那さんは留守番） その為、全員揃って晩ご飯を食べる事になっているのですが、毎週ってゆうのもしんどいです。その場の雰囲気は私だけ浮いてるような…。 娘が産まれてからは 、泣く度、最近では廊下を走る度に、義両親が下から走って様子を見に来ます。孫を見たいという気持ちはわかりますが、異常なくらい覗きに来るのでそれもストレスです。 最近は義母が私のいない時に勝手にこちらの方に侵入し、ベッドのシーツとマクラカバーを交換してくれました。 「汚れてたから洗濯しておいたよ（笑顔）」と持って来てくれた時は、さすがに顔がひきつりました。 今思えば離れてるようで近い微妙な距離があるのが二世帯住宅。 この中途半端さが嫌で別居を考えてますがこんな私、我侭でしょうか。