実母の訪問時間

こちらでぜひご意見を伺いたく、トピを立てさせて頂きました。

現在、生後5ヶ月になる娘がいます。
まだまだ日中寝るのが下手で、スーッと寝る日もあれば、ぐずったりギャン泣きしてなかなか寝てくれない日もあります。
食欲＜睡眠欲が強い子なので、日中の睡眠が足りない日は、夕方からのグズリが酷く、夜の寝かしつけ前の授乳も眠いーと仰け反って嫌がります。
ただ4ヶ月後半から昼寝を長く出来る様になり、夕方でも機嫌の良い日が増えてきました。
5ヶ月になって昼寝に入る時間帯が安定してきて、ホッとしているのですが、実母が家に来るタイミングがいつも子供が昼寝をしている最中です。
家と実家は車で30分程の距離です。
母は運転があまり好きじゃないので、実家暮らしの兄が仕事が休みの日に、兄に運転してもらって一緒に来ています。
子供が寝ている時に来たら「顔だけ見てすぐ帰る！」と言いますが、母兄(一緒に買い物行くくらい仲が良い)2人で声のボリュームに気遣うことなく喋るので、当たり前に子供は起きて、中途半端に起こされたからギャン泣きです。
ウトウトしてあとちょっとで寝そう！って時に来た時も、2人の大きな声にビックリして目を覚ましギャン泣きです。この時は母が代わって抱っこして寝かしつけしますが、ギャン泣きは変わらず…今まで聞いたことのないような声で泣き続け、30分程泣いたら疲れて寝ます。

子供が昼寝してる間に夜ご飯の準備や私も仮眠をしたいというのもあり、母に昼寝する時間が決まって来てるし、起こすとギャン泣きするからこの時間までに来て～と、言ったのですが、その時間までには来れない、迷惑そうだから来んようにする、長居しないで帰ったつもり(←だいたい1時間半はいます)と言われました。

これは私の我がままなのでしょうか？少し神経質になり過ぎているのでしょうか？
皆様は家に両親、友達が昼寝中に来る時どうしてますか？