住宅ローン繰り上げ返済と税務署について

はじめまして。トピを開いてくださりありがとうございます。

住宅ローンの繰り上げ返済と税務署の関係について、お詳しい方、アドバイスをお願い致します。

私、主人ともに40才。子供2人。自営業者です。

8年前に土地、建物を購入し、現在ローンの残高は2300万円。返済年数は残り17年です。
この度、繰り上げ返済を検討中なのですが、一度に多額の返済をすると、税務署が調査しに来ると聞いたことがあります。
返済金はもちろん、夫婦でコツコツと貯めたものです。しかし、自営業の我が家に税務署がやって来ることは、やましいことがないと言っても、なるべくなら避けたいものです。

現在、1000万円の繰り上げ返済を考えていますが、この場合、お金の出所を調査しに税務署が来ることはあるのでしょうか？

お詳しい方、教えてください。よろしくお願い致します。