知人についた嘘

はじめまして。先日知人が私の住むマンションに来たいと連絡がありましたが、私は会いたくなく、今は実家に帰省中なので会えないと嘘の返事をしました。その後、分かった、またねと返事があり、私はすっかり安心して近所を車で出かけましたが、すれ違う等で見つかって、嘘がばれてはいないか心配です。最初からしょうもない嘘などつかなければこんなに悩む事もないのに・・・と後悔しきりです。
もしばれてしまった時はどう説明をしたら良いでしょうか。