ちょっと変わった間取り？

夫の実家について相談させてください。

実家ですが、二世帯です。
ただし、玄関は1つ、お風呂も1つ両方とも１階にあります。

１階には夫の両親が住んでいて、2階には夫の父の兄家族が住んでいましたが、現在は夫の兄の息子(夫から見ると従兄弟)が1人で住んでいます。
(従兄弟の両親は他界しているため1人です)

玄関もお風呂も１階にしかない為、頻繁に下を通ります。
今は夫の両親が健在でなので私たち夫婦は遊びに行くだけなので気になりませんが、退職後のことで相談させてください。

私たち夫婦は夫の実家から飛行機で1時間半くらいの所に住んでいます。
退職したら住み慣れた地元へ帰ろうと思っています。
夫の両親からは、その時はこの家に住めば良い。その頃には私たちも居ないから好きに住んで～と言われています。
(現在80代後半)

しかし、玄関もお風呂も１階にしかなく頻繁に従兄弟が出入りする家なので躊躇しています。

夫の実家であり、夫の従兄弟の実家でもあり、今住んでいるのが夫の両親と夫の父の兄の息子！何だか不思議に見えますよね！

私たちが住むことで玄関、お風呂を作り、完全二世帯にしたいと言ったら嫌じゃないですかね？
今までずーっとこの状態で住んでたのにあとからきた私たちがリフォームについて言うのもなんだかなぁ。

私は思い切って他に住んだらいいと夫に話しましたが、夫は何で実家あるのにわざわざ？勿体無い！という感じです。
夫は小さい頃から2階に住む従兄弟と一緒に暮らしていましたので、リフォームも必要ないと言います。何も抵抗が無いのです。

リフォーム代もこちら持ちでも従兄弟は気を悪くしますかね？