はじめまして、シングルマザーのさよりと申します。

現在、結婚して大阪に住んでいるのですが、結婚以来、毎年お盆と年末年始に実家（和歌山）に私と子供（2人）で1週間程帰省していました。
実家は母と兄夫婦が同居していましたが、兄夫婦には子供もいなく私の母親も孫に会うのをとても楽しみにしてくれていました。
又、子供達も普段と違う自然の多さを楽しんでいて私自身も友達に会ったり出来るので楽しみにしていました。
今年の3月に母が亡くなって住んでいるのは兄夫婦だけになったのですが、毎年の恒例行事だし、当然今年もいくつもりで兄に連絡を入れたのですが、その時の会話が、

私　「今年もお盆に行くから」
兄　「何しに来るの？」
私　「どういう意味？」
兄　「もう母さんもいないし来られても迷惑なんだけど」
私　「だって、毎年行ってるし子供達も私も楽しみにしてるんだけど」
兄　「それは母さんがいればの話。今まで○○子（義姉）も迷惑してたのに
　　母さんの手前、我慢していただけ。それくらい言われなくても考えろ」
私　「でも、私の実家なんだよ」
兄　「だから母さんがいる時は何も言わなかっただろ。もう母さんがいない　　んだから今までみたいに1週間も居座られたら迷惑だ」

という感じでした。
母からの生前分与で実家は兄が、私は大阪にマンションを買って貰いました、だから兄は私には実家に対する権利はないといいます。
でも私にとっては大事な自分の家だし子供達も楽しみにしているので兄の言い分には納得出来ません。
もう私は自分の実家に気軽に行くことは出来ないのでしょうか？