上司と合わない、仕事をしない

私は小さな会社で事務員として働いています。 上司（男性）のことについて愚痴になってしまっていますが意見をいただきたいと思っています。 上司は社長や自分より立場が上の人がいると（当たり前ですが）いかにも仕事をしていますのような態度なのですが、上の者がいなくなると携帯をいじったり、ネットをしたり・・・ 私も手の空いた時ならそんなこといくらでもしてもらって構わないと思っていたのですが、日に日に電話も出ない（前は出てくれました）注文のＦＡＸがきてもとらない、ひたすらネット。 2人どちらがしてもいい仕事も最近ではほぼ私がやっています。 こんなことで愚痴るなら本人に言えばいいじゃないかと思われると思いますが、小さな会社なので波風を立てたくないのと、自分がいかに我慢するのがいいのか気持ちの持ちようをアドバイス頂きたいのです。 どこの会社や学校でも合わない人って必ずいるのは分かっているもののついイライラしてしまってます。