引っ越しをしたら会社に届けないといけない？

小さい会社に勤めています。
今度、今住んでいる場所のすぐそばに家を建てて引越しすることになり、そのことを会社に知られたくありません。
同僚にも言いたくないんです。
交通費も健康保険等も住宅補助ももちろんない会社ですし、住宅ローン控除も関係ありません。
パートなので税金がかかるほど働けていません。
雇用保険にはかかっています。

会社（社長）には届け出るのが常識ですか？

年末調整のときに税理士さんに出す書類に住所を書くところがありますが、
そこに正しく書いておけばいいかと思ったのですがそれではだめでしょうか。

入社してくる人は社長の縁故知人がほとんどで、履歴書さえもらっていないケースが多いです。
（必要に応じて住所を聞いたりはしますが。）
私は普通に入社したので履歴書は渡していますが、管理しているのは私です。