孫養子について

私は32歳女(福祉関係)、夫は31歳(料理人)。子無し。地元町内でお互い勤務。2年前に結婚し、アパートで暮らしています。 私達夫婦は昨年の春、母方の祖父母と養子縁組を行ったのですが、その矢先に祖父が他界。家の今後について悩んでいることです。 養子については、私が高校を卒業したタイミングで祖父から縁組の話をされたことで始まります。 【祖父の家について】 ＊本家。サラリーマン家庭。農家。 ＊実子5人。 　・前妻の子:2名。 　・後妻(今の祖母)子:3名。私の母、妹、弟。弟は知的・身体障害あり。 ＊家は要介護1の祖母と障害のある叔父の2人暮らし。 当時、長女である母の結婚を許す代わりに、孫養子の口約束が交わされたとのこと。その為母の妹も問題なく嫁いだそう。祖父母が大好きだった為、生きている間に願いを叶えたいと思う一方で、条件で結婚が上手くいかないこともありました。今の夫は私の思いをしてくれ、夫の家族の説得など紆余曲折ありながらも、夫婦で養子縁組する形となりました。結納金300万。同居は難しい事など祖父に伝えていましたが、特に話し合いはなく、遺産分割協議となりました。実子より「なぜ同居出来ないのか。縁組のサインしたはず」と詰められ、祖母には「人様の苗字もらっておいて、そんな話は通らない」と言われ、私達は精神的に疲弊してしまいました。財産は均等に割り振られましたが、私達へのお金は祖母の為に使ってもらう予定です。夫の気持ちは、別の場所に住みたいという感じです。両親は私達の気持ちを優先してくれますが、全ては私の中途半端な決断や考えの甘さが招いた結果だと思います。土地やお金の事は関わりたくないのが本心ですが、祖母の亡き後にお墓だけでも守れたらと考えます。お恥ずかしながら、どう立ち振舞うのが良いのか分かりません。何かご意見があれば、お願いします。