このまま借金と共に狭い家に住むしかないでしょうか

三十代子持ちの主婦です。 子供が1歳を過ぎたのを機に、住宅購入に動き出しました。 海と山に挟まれた平地が少ない地域に住んでいるため土地価格が割高なのですが、運良く予算内で利便性の良い土地を見つけました。 しかし、安いのにも理由があり、 1.敷地面積が40坪足らずで狭い 2.東西に長い長方形 3.南側の土地が1.5mほど高くなっている 決して良い土地ではないことを承知で買うことを決めたのですが、よくよく土地を見てみると高くなっている南側の土地の擁壁が傷んでおり、平時は問題なくても地震や大雨で崩壊しそうになっている状態でした。 この件を不動産屋に相談し、不動産屋から擁壁の持ち主に修理の交渉をしてもらうことにしました。そのころ私が体調を崩してしまったので契約の件を夫に一任していたのですが、擁壁の件の進捗聞かないままいつの間にか土地契約日が決定しており契約してしまいました。 契約から1週間ほどして心身回復したところで夫にどういうことだったのか聞いたところ、擁壁の件を解決するまで契約日を延ばすと不動産屋が言うのを断って契約をした、隣家の擁壁がいつ崩れても大丈夫なように自分の土地にも擁壁を作れば良いと主張してきました。 ただでさえ狭い敷地なのに崩れてきた土砂を受け止められるくらい大きくて頑丈な壁まで建てたらまともな家が建てられない、緊急事態のみ活躍する壁の維持管理なんてどうやってするのだと言っても夫にはピンときてないようです。 重要なことを夫に一任してしまった私自身にも腹が立ちますし、事の重大さを理解しない（できない）夫にも腹が立ちます。 この際契約を破棄して他の土地を探したいところですが、これから妊娠を希望しているのである程度の利便性と予算を考えるとなかなか見つかりません。 家族向けマンションもあまりない地域です。 このまま謎の壁が建つ狭い家に借金背負って住むしかないでしょうか。