二世帯住宅について

二世帯住宅に関して、ご相談させていただけますと幸いです。
父親の土地に二世帯住宅を建てるべきか、についてとなります。
二世帯住宅のリスクと、都内で家を購入するとなると高額という事もあり、悩んでいます。

■家族構成
夫、妻（質問者）、4歳の子供

■現状
現在、父親（61歳）が所有する都内戸建てに住んでいます。（土地の権利者は父親です）
老朽化が進んでいて、震災時に危ないので建て替えを検討しています。
父親は、横浜に住居があり、現在は別居しています。

■相談経緯
・建て替えの話になり、初めは子供世帯の家を建てていいとの事でした。
・途中から、父親用の一部屋を設けてほしい（趣味に使いたい）→都内のいい場所にあるため、賃貸も検討したい→父親主導で家を建設すると、1年の間に方向性が変わっています。
　※昨年定年退職し、更年期もあってなのか、やりがい探しをしているように見えます。
・子供世帯としては、居住用として考えており、父親の目論んでいる賃貸（スペース貸し等）は、拒否をしていました。
・加えて、将来的に父親と同居する流れになるのではなかと、夫が相当心配しています。
・父の意向としては、横浜に居住があるので同居意思はないそうですが、上記のように方針転換している事、子供世帯名義で建物建設について打診をしましたが（同居を避けるため）、自分の土地なのに好きな時に出入りできないと拒否をされています。
・父親としては、父親自身で建設費用を持つので、子供世帯にとって金銭的にとても美味しい話ではないかと話していますが、それ以外のリスク（認知症になり、東京の家に来てそのまま同居となる。建てた後のメンテナンス等）もあるのではないかと考えています。
・父親は、嫌になったらいつでも出て行っていいと言っていますが、子供がいる以上、気軽に転居すればいいという話でもないので、悩んでいます。