姪に会えなくなって悲しい

アラサーの既婚女です。 姪に会えなくなってとても悲しいので お話を聞いてください。 私には春から小学1年生の姪がいます。弟の子どもです。しかし、まだ姪が赤ちゃんのころ離婚していて、それからずっと姪は元奥さんと生活しています。離婚理由は詳しく書けませんが、不倫や浮気ではありません。 そのため、離婚してもそれなりに交流があり、実家（姪から見たら祖父母の家）に遊びに来てくれたり、公園やお買い物へお出掛けしたり、誕生日やクリスマスをお祝いしたりしていました。私の子ども（生後８ヶ月）のお世話もしてくれました。とても懐いてくれていて、私もとても可愛がっていました。 しかし、ついこの間、「この春からもう会うのはやめることにした」という連絡が弟からありました。元奥さんと何度も話し合った結果だそうで、会うことをやめるのは、親戚だけでなく、姪の父である弟もです。 理由は、それぞれに新しくお付き合いしている人がいて、結婚の可能性があることや、姪自身が不安定になって夜泣きしたりなどがあるから、と言われました。また、元奥さんのご両親も離婚していて、同じような経験があるから、とも言っていました。 やはり、親権を持ってない側の親戚は、だんだん子どもの成長に伴って疎遠になるのは仕方ないでしょうか？ 弟から連絡をもらったとき、「きちんと二人で話し合ったことなら、私は何も言わない。わかった。」と言いました。これでよかったのでしょうか？ 突然のことで、だんだん悲しくなってきました。励ましてください。