一緒に遊んでいても姪は他人？

トピを開いて下さりありがとうございます。

主人と３歳の娘がいます。義兄夫婦にも３歳と１歳の娘がいます。

義兄夫婦と交流はありません。

しかし義両親は孫同士を遊ばせたいらしく、義兄一家が実家に来たときは私にも連絡があり、たまに義両親がうちに孫（姪）を連れてきたり、公園に一緒に行ったりしています。

義兄夫婦は来ません。

また、主人と義兄の休みがなかなか合わないので、私と娘、義両親と姪とで会っています。

ちなみに、娘は人見知りしませんが、偶然義実家で会ったとき以外は、義兄夫婦が娘と遊ぶことはありません。

先日、義実家に遊びに行ったとき、１歳の姪が上のお姉ちゃんのお下がりを着ている写真が飾ってありました。お姉ちゃんが着ている姿も見たことがあるので、

「やっぱり姉妹、似ていますね～」

と言いました。すると義母が

「他人は皆そう言うのよ～、でも私たちから見ればやっぱり違うんだけどね」

私は心の中で“え？！今私を他人の輪でくくった？”と思いながら何も言えませんでした・・。

正直、急に来る義兄一家の予定に振り回されているので、義両親と姪が来ることを負担に思いますが、娘も喜び、義両親の気持ちも考えると断りきれず・・。
主人と義兄は連絡を取らないので、私が橋渡し役の気持ちでいたのに、言葉のアヤにしろ、「他人」と言われショックです。

主人に話すと笑いながら、

「俺も他人だ。親から見れば孫との繋がりと俺らと姪との繋がりは違うから、そういう意味での“他人”だよ。」

つまり、不快な意味ではないと。

一緒に遊んだりするのに“他人”と言うのでしょうか？

感覚の違いと言われましたが、皆様はどのように感じますか？