婚家を建て替えようかと

婚家に住んでいる長男の嫁（32歳）です。 状況としては、 ・子供が2人（2歳男子、0歳女子） ・義父（64歳）が健在で、敷地内にある別の家（築約40年）に住んでいる。 ・義妹が1人いるが、結婚して車で2時間強ほどの所に住んでいる。 ・私達の住んでいる家（築35年）の間取りは４DK（すべて6畳）。リフォーム等の増改築は行ったことがない。 ・耐震は調査した結果、「倒壊する可能性が高い」と出た。 ・将来実母と同居予定。 です。 以上の事や、日常生活に少しずつ支障が出始めてきたので、今私たちが住んでいる家を建て替えたいと思い、土地と建物の名義が義父のため義父に相談したところ、「まだ使えるのだからダメだ」と言われました。 話し合いは1度だけでなく約半年ほど月1，2回のペースで行っているのですが、義父からの返事がその時その時の感情で言っているようで、「孫がかわいいから建て替えるなとは言わないが・・・」だったり「俺が苦労して建てた家（実際には義祖父からの生前贈与で建てた家で苦労していない）だから、触るな」だったりで困っています。 挙句の果てに義父は自分で処理しきれなくなり、市役所に相談に行き、「ご家族で話し合ってください」と言われる始末。 こちらも義父の気持ちは分からなくもないので、リフォームではどうかと提案したのですが、それもやはり「思い出が詰まっているから嫌だ」との事。 挙句の果てには「気に入らないのなら出て行ってくれてもいい」と簡単にいう始末です。 正直、私達は未練は無いので出て行ってもかまわないのですが、義妹や義親せきから「できればその場所に住んで欲しい」と言われているので簡単に出て行くわけにもいかず・・・。（義妹や義親達は私達に賛同してくれてます） 私達が出ていくことが一番だと思うのですが、皆様でしたらどうされますか？ そしてまだ、説得の余地はあるのでしょうか？