三世帯同居を考えるのはおかしい？

３０代前半の主婦です。現在２才年上の夫と、５才の娘と賃貸マンション暮らしです。実は主人の両親が、現在別居開始から８年。まだ、離婚はしていません。 義父は８年前に建てた家に一人住まいで、義母は、義祖母と以前の家に住んでいます。これまでは、新しく建てた家のローンを二人で半分ずつ払っていましたが、義母がマンションを買い、そのローンが始まるため、それまで払っていた家のローンは払わないと言い出しました。 まだ義父にはそのことは伝えてないのですが、そうなると離婚は決定的ですし、何よりその後義父一人でローンを返していくことは無理だと思います。 そこで、義父と同居することを考えたのですが、今義父が住んでいる家は、私の職場や子どもがお稽古に通うのにもかなり不便な場所です。さらに、私は将来遠方に住む自分の両親の面倒も見たいので、この際三世帯住宅を建てられないかと考えました。玄関も何もかも別の完全独立型です。 ですが、主人に相談すると、あまり乗り気ではありませんでした。義父が一人で惨めな思いするのでは？というのです。三世帯住宅を考えることはおかしいでしょうか？