上司からよく呼び出される

私の上司は自分の話ばかりで、朝一から自分の身に起きたことやご主人への愚痴などひとしきり誰かに聞いてもらっています。
他人の話に対しても必ず否定的な言葉が並べられるか教科書的な正論が返ってくるので、大抵嫌な気持ちになって終わります。

この上司に最近よく呼び出されいろんな注意をされるようになりました。
私の一歳の子どもがよく熱を出すので、遅刻早退で穴を開けてフォローするのは周りだ等です。

迷惑をかけたことがないわけではありません。しかし最低限自分がいないと困る仕事はしています。
納得いかないのは、他の先輩も自分の都合で職場全体の予定をあっさり変えたり、当の上司も病院とか帰省のためとかでよく早退しています。こういう状況があるにも関わらず、私だけが個人的に呼び出されます。

職場で子育てをしているのは私だけです。私は聞かれない限り子どもの話もプライベートな話もしません。

いつも割り切って仕事していますが、なぜ私だけ注意を受けるのか疑問です。人の愚痴ばかりの上司に言われる腹立ちもあるかもしれません。
未熟な面も多々あると思います。皆さんからの客観的な意見を伺いたいです。