会社の机の引き出し

ご意見お願いします。

先日、私が書類上のミスを１件してしまいました。

その件については謝り、今後の対応策を話し合い、営業活動で外出しました。

すると私の外出中に「忙しいのではないか？他にミスの種になるようなものはないか？」と責任者が机の引き出しを全てチェックし、勝手に捨てられたものもあります。

何でそこまで？と不快だったので、
「チェック目的であける時は私のいる時にしていただきたい」旨をお願いしました。

「今後は居るときにするけど、会社の備品だから自分のやったことは問題なかったんだ。」との事でした。

私が不在のときにチェック目的で開けられていて（文具を借りるとか必要な書類を取り出すのは何の抵抗感もないです）、

ある日私の机の中から何か書類やものが無くなっていたら私は責任者を疑ってしまうようになると思います。

今後はチェック目的の際は私の居るときに開ける、ということは了承頂けたのでいいのですが、
私はミスした癖に生意気な事を言ってしまったのか、と少し落ち込んでいます。

客観的に見て私の発言はいきすぎたことだったでしょうか？
宜しくお願いします。