暇だけど休みづらい職場

とある小さな事務所のひとり事務です。一日大半が暇です。 パートなので時給でそんなに高くもありません。 上司というか社長が忙しくほとんど事務所にいませんので 留守番役として雇われています。 子供のこと（小学校高学年）でたまには休みもいるけど大丈夫かと 雇用時に確認しましたが、ぜひ来てくださいとのことで採用されました。 といって月に１回も休むか休まないかで、フルタイムに近い週５勤務で 頑張ってきました。職人肌の上司なので時々指示がわかりにくく、 でも自分なりにこなしてきていますが、前もって抜けたい時間を つげていても当日になると忘れていて（PTAの役員や学校の合宿説明会など） 不満そうな感じです。 採用の時はうちも子供がたくさんいますから！わかりますよ！ なんて言ってくださっていたけど、上司はいつ来るかわからず（ぜんぜん 連絡なくまる一日電話もなく放置状態の日もあり） 一年勤めてどうにもやりきれない思いと、でも４０でパートで楽な仕事だし・・・という思いとで揺れています。 どうかご意見お聞かせください。 事前に早退届をつくって本社（ご自宅が本社）にFAXしても忘れられていたり。社長は自分の予定を言わないのにこちらが事前に申請した休みになんだか嫌味を言われて（遠回しに）心が折れています。 無期限雇用なので頑張って働きたいと思って選ばれた職場なのに どうしても大手の短期雇用のイメージが抜けない私が悪いのか、 愚痴を言う相手もおらず、凹んでおります。