猫と赤ちゃんの寝室について

今週で4ヶ月になる赤ちゃんがいます。第一子です。 結婚してすぐに2匹の猫(両方雌、7歳と5歳)をシェルターから引き取りそれから数年愛情を注いで一緒に暮らしてきました。猫は基本は家の中はどこでも自由にし、寝床は夫婦の寝室でした。 赤ちゃんに対して攻撃するようなことは一切無くホッとしていたのですが、赤ちゃんが3ヶ月になったころから夜だけ猫を下の階の部屋に隔離しています。ベビーベッドは夫婦の主寝室に置いています。 理由はお腹が空いて目を覚ました赤ちゃんがミルクの後に再び寝かかっているところに寝室の近くにある猫トイレの砂をかく音や夜中に追いかけっこをする音で赤ちゃんが目を覚ますことがあったことです。 猫は日中はこれまでどおり家中を自由に行き来可能にし、夜だけ下の部屋で寝てもらい、猫ベッドとトイレと水も下の階にあります。 私も子育て、特に赤ちゃんの睡眠については色々なことを試しストレスも多少あったので暫くは猫には我慢してもらってと思っていましたが、昨夜5歳の子が床にウンチをしていました。猫は環境の変化に弱いのでストレスもあったと思います。 赤ちゃんとペットの寝床について、皆さんはどのようにされていましたか？猫を今まで通り夜も寝室に入れるようにしたほうがいいのか、少し揺らいでいます。アドバイスをお願いします。