上司のせいで辞めたいパート。でも上司に何と言えば？

ずっと上司に我慢してきましたが、もう限界で辞める決心をしました。 私は現在一人事務のパートで、上司はあと2年ほど異動はないと思います。 でも、辞めたいという意向はまず上司に伝えなければなりませんよね？ まさか「あなたのせいで辞めたいです」などと言えないです。 席が遠かったり、仕事上あまり接する機会が少なければ、もっと上の部署に言えるかもしれませんが、席はすぐお隣。 雑談もものすごく（辞めたい原因の一つです）、もし私が辞めると言えば「何で？」としつこく聞いてくるのは目に見えてます。 そこで理由を言わなかったら言わなかったで、「あの人は理由も辞めずに辞めたいんだって」などと、まわりに吹聴するでしょう。 何でも根ほり葉ほり聞きたがる上に、気に入らないことがあると吠え、まわりに愚痴や悪口をふりまく、やっかいな上司なんです。 「辞めます！」と言って翌日から出勤しないなら何とでもできると思いますが…そういうわけにもいかないので。 上手に辞める方法などないものでしょうか？ どうかアドバイスをお願いします。