共働き夫婦の家の名義

３０代で共働きをしていて子供が１人います。 このたび２，８００万の分譲マンションを頭金７００万で購入しました。 残りの２，１００万は主人名義で私の父より借りて返済しています。 （借用書は作成しました） 契約の際には深く考えずにマンションの名義を主人ひとりの名義にしたのですが 今になってまずかったのでは思っています。 気になっているのは ・頭金はふたりで貯めたお金でしたが私名義の銀行口座で管理していたこと ・今まで住んでいた私名義のマンションが売れたら（７００万くらい）返済にあてようと思っていること この２点が私から主人への贈与扱いになってしまうのでは？と思っています。 ちなみに主人の年収は５００万くらいです。 マンションを購入した時の営業の方の話では名義は離婚でもしない限り主人のみの名義で問題ないし 親ローンであっても借用書と返済の証拠があれば税務署に聞かれても大丈夫だと言われていました。 もし税務署から連絡があるとしたら購入からどれくらいのタイミングでくるものでしょうか？ 今からでも何か対策をした方がいいのでしょうか？ 税金に関して素人なので、よろしくお願いします！