やりにくい職場での頑張り方をおしえてください。

公的機関で働いている30代既婚女性です。
子供のころからなにかと「標的」「はけ口」にされてきたと思います。
今の職場でもそうで、ここは仕事はすくなくゆったりモードで恵まれているとは思いますのでありがたいですがここでも何かと標的になってしまいます。同じくパートで働く女性は多く年齢も同じぐらいだし彼女たちもみなゆったりしてる方がたなので問題なくつきあっていけてるのですが少数ですが男性職員にクセがある人がいます。縁故で入った女性が多いらしいのですが仕事中、ネットは当たり前、仕事が暇なら他部署からの人が集まってきてどんちゃん騒ぎをしていますが決して怒りません。うるさいな～って思うことはありますが私にはあまり害はないのですがそこで滞った仕事が私にまわってきます。そして仕事中にネットサーフィンは職員・パート、皆してます。私はやりませんが昼休み中に何度かネットニュースはみたことがあります。それを知ったある男性職員が私にだけ注意しました。そして他部署の上の職員さんたちにも伝えたそうです。職員を含め仕事中ねっと通販なんて当たり前にやっています。その他の女性パートたちが
大声で遊んでいても何も言わないのに私にはちょっと席にもどってくるのが遅いと怒り、他部署の女性パートの仕事を回してきてはやり方がおかしいと怒り、（その他部署の女性たちはおしゃべりやお茶やお菓子に夢中で職員は頼みにくいようです。
こんなに差をつけられてはとてもやりにくいです。
仕事を変わればいいのかもしれませんが地方なのでなかなか仕事はないし、時間、距離、子供（小学生と幼時）がいることを考えたらすぐの転職は考えられません。心の持ち方をおしえてください。