登記や住宅ローンに詳しい方、教えてください！

39才会社員です。妻と3人の子供と一緒に持ち家（私が65才までローンあり）で暮らしていましたが離婚する事になり、子供達の生活環境を第一に考え私が家を出てアパートで暮らす事になりました。

現在、自宅の所有権は私と妻の双方に設定（詳しい比率は今現在、手元に登記簿がないのでわかりませんが）してあり、住宅ローンは私が債務者となっています。

妻は現在パートで働いており、新たに住宅ローンの借り換えをしようと思っても審査が通らないので、養育費の一部として私が住宅ローンを継続して払う事になっていますが、離婚協議書を作成する為行政書士さんに相談した所、住宅ローンを払い終えた時点で自宅の所有者を妻に変更しようとすると不動産譲与税がかかるから、今離婚の際の財産分与として所有者を妻に移したほうが不動産譲与税がかからない、所有者の変更をするには不動産登記を再度行う必要があり、おそらく30万前後必要になるが不動産贈与税を払うよりはずっと安い、と言われました。


しかしその場合、自宅の所有者は妻、住宅ローンの債務者は私（しかもその住宅には住んでいない）といういびつな形になる為、そのまま住宅ローンを継続出来るのかが不安です。一応住宅ローンを組んでいる銀行に一度相談した所（その時点では所有者の変更の事までは話していませんが）、ローンの保証会社的には契約違反で残りのローン残高を一括で払ってくださいと言える事案ですが、現実問題として無理でしょうから、支払いが滞らなければ仕方なく認める事になるのでは、と言われたのですが所有者まで変えても大丈夫でしょうか？


どなたか詳しい方がいたら教えてください。