私は心が狭いですか？

はじめて投稿します。２０代の主婦、８ヶ月の子どもがいます。　結婚当初から夫の母とも同居しています。子どもが産まれるまでは私はフルタイムで仕事をしていました。
今仕事をやめ、気になることが多々でてきましたので皆様のご意見聞かせてください。
夫は三人兄弟の長男で弟妹がおりいずれも既婚で子どももおります。弟夫婦は近くに住んでおり週に３，４回夜一家で家に遊びにきます。子どもがとてもおばあちゃん子でよく子どもだけ家に遊びにきたり泊まりにきたりします。
仕事をしているときは気にしないようにしていましたが最近玄関の鍵の開く音が聞こえると「またきた。」と気分が落ち込みます。
義母は私たちの子もよく面倒をみてくれて家事の分担もよくしてくれて人間的にも好きなんですが、ここの家は私たちの家でもあるので好き勝手に孫を預かったりしてほしくない。

また今年の末には県外に住んでいる妹が子どもを２人連れて帰ってきて半月近くも家に泊まるとのこと。このことも私には何の相談もなく決まったようで妹も義母もとても楽しみにしているようです。
その反面私はこの狭いアパートに半月近くも肩身の狭い思いをしながら暮らさなければと思うと気が重たいです。こんな風に考えてしまう私って世間的に心がせまいのでしょうか。おしえてください。