職場の席が男性と極端に近いのはおかしいですか？

二十代女です 数ヶ月前から事務のパートをしてるのですが、朝～お昼まで責任者の男性と数センチ程の距離の席に隣同士で2人きりなのが苦痛です。 静かにお仕事をしてるのなら良いのですが、息が荒かったり（変な意味ではないです）独り言が多かったりする人なので集中出来ません… しかもこちらの仕事を見てくれようとしてるのか、こちらを見てたりするのが割と頻繁にあって気が散ります… 少し離れたところに据え置きのPCのある席があるのですが、「他のバイトさんが来たら使うから」との事で使えません。私は持ち運び可能のノートパソコンを何も置いていない男性の隣の席に置いて作業する状態です。 「他のパートさんが来るまでの昼過ぎまで席を変えて欲しい」と言っても我儘でないでしょうか？また言う場合どのように言えば角が立たないでしょうか。 その一点以外は良い職場です。続けたいのですがそれだけが憂鬱で… 責任者の男性がこの現場では1番上の立場です。（本部を含めれば上はいますが私はパートなので本部と接点はありません） 皆様のご意見お聞きしたいです。