パート 転職

パートですが転職しようと思っていますが悩んでます。
現在のパートはネット通販の仕事です。事務がやりたくて入りましたが、ピッキングや梱包が多く体力を使います。
事務もパソコン対応は週3でもなんとかなりますが、毎回ではないため電話などの対応がなかなか覚えられません。そして、おせっかいなおばちゃんが常に見張っており、ノートの書くタイミングやメールの文章まで細かく指摘してきて、それでいて自分のやることを間違えてばかりでいつも上司に怒られています。
実際、そのおばちゃんが嫌で最近は梱包に行きたいと思うことの方が多いですが、エアコンのほとんど効いていないとこで立ちっぱなしの作業ではこの先体力が続きません。
そして、トップの人も好いている人には態度がいいですが、人によって全然態度は変わり、挨拶もしなかったりです。
少しずつ次を探していたのですが、良いところに内定を頂きました。時給やボーナスもあり、条件は今より良いのですが、お役所などの工事や道路関係の工事の建設関係の会社です。家から近くて時給やボーナスもよく事務だったのでそれだけで決めてしまい、建設関係の会社にまったく興味がないです。働くのに、会社に興味がないとか関係ないでしょうか？
みなさんはどのように職を決めますか？

正直、人間関係はどこへ行っても同じだとわかっています。ただ、今のところは5ヶ月やっていますが、毎回朝行くまでその日に事務をやるか倉庫に行くかなど何をやるかわからないこと、動き回りエアコンもなく体力的にこの先続く気がしないことで考えてしまいました。実際、辞めて行く方も多いです。
忙しいので時間が早く過ぎるのは有り難いのですが。

こんなことで転職はしない方が良いのでしょうか？
ご意見をお願いします。