予定が無い日は出勤しない上司

個人事務所で勤めています。 来客があったり、翌日締切の書類があるなどの予定が無い日は、基本上司は出勤しません。 書類仕事は上司のチェック無しでは進めらないので、そんな日は仕事がストップします。 また、上司は電話連絡をしてきますが、「なるべく早めに行くから」「○時頃に行く」「今日中にこれをやるから」と言っておきながら欠勤することが多く、複雑な気持ちです。 そのため、ストップしている仕事の処理をどうするのかこちらから電話するのですが、「今日は休みます」「明日見るわ」と一蹴されます。 こんなとき、「今日中にすると言われていたと思うのですが」とか、「○時に行くと聞いていたのですが」など、突っつくようなことを言うのはご法度でしょうか。 このようなことが何度もあるので、イライラしてしまうんです。 確かに締切までまだ日はありますが、言っていることとやっていることが違うじゃないか、どういうつもりなのか、と思うのです。 考え方を変えるべきでしょうか。