同居義母になつく子どもにどう対処したら・・・

現在、2歳の子供がおり、2世帯同居をしています。
もちろん同居もしたくなかったですがが、長男の嫁となり、やむなく同居となりました。
1階と2階で水周りなどの生活空間は分かれていますが、玄関は同じなので声などは聞こえます。

育児のほうで相談すべきなのか迷いましたが、聞いてください。

自分の子供が義母のことが大好きで、私と遊んでたりしても
義母の声が聞こえると階下に降りたがり、泣き叫んだりします。
義母もそんな子供が嬉しくて、勝手に2階にあがっきて連れて行ったりするようになりました。

勝手に上がってこられることにはイライラし、
母としては悲しくてたまらなくなります。

確かに、義母は手放しで喜んで遊んでくれます。ありがたい事だと思います。
自分ももちろん遊びますが、怒ったり、家事の邪魔になるときは邪険にしたりもしていると思います。
ただ、そんな子供も階下に迎えに行けば、喜んで私に抱きついてきます。
なので、ギリギリ心の平静を保てていますが、
子供をとられたような気分で、毎日、苦しくてたまりません。

結婚してない友達に相談すると、連れてかなければいい、というか毎日良く顔会わせられるね～。と。
唯一、同居している友達は自分と一緒に土日しか連れてかないと・・・。

今まで、なんとか良好な関係を築こうとしていた私には
今更、そんなことは出来ないしと、悩んでいます。

はっきり言って、自分の我儘なのかと思ってきました。
義父母ともうまくやっていきたいし、
でも子供にとっては自分が一番でいたい、
が、しつけもしなければいけない。
そうすると、簡単に義父母のところに逃げてしまう子供になるのでしょうか？

特に義父母と同居している方にお聞きしたいのですが
こういうものなのでしょうか？