苦手な上司の言動をやり過ごす方法

初めまして、30代会社員です。
今年の4月より今の職場で働き始めました。

6月より私と私の直属の上司が事務所移転となり、二人きりしかいない状況でこの上司に参っています。

上の目がない事を良い事にやりたい放題。私用電話は当たり前。
仕事と称して全く関係のない事で帰ってしまう。
私はまだ見習いの身で、彼から教わる事も多々あるのですが、二手に分かれてやっていた仕事の納期が遅れそうになると、私だけのせいにされ。

もちろん悪い所だけではないのですが、本当に苦手になってしまって。
おまけに口が悪く「～すりゃいいんだよ!」とか本当に傷つきます。

上の人は彼がスペシャリストの為か何も言えない状況です。
そんな中で私はどのように振る舞えばいいでしょうか?
感情を殺して理性で動くしかないとはわかってるのですが、なかなか割り切れません。

どなたか助言を頂けたらと思います。