どうしたら良い関係が築けるの？

40代パートです。
私は嫌だなと思う人とはかならずトラブルになります。

私が嫌だなと思う人は周りからも批判のある人が多いです。

周りの人が批判ばかりしているから、私同様みんなも嫌っているんだな～とわかりますが、周りの人はうまくやれるのに、私はかならずといっていいほどうまくやれません。
職場で仕事をしない社員がいます（男性です）
私はパートですが、仕事は社員もパートもないと思うし、自分のためにもなるので要求された事以上にがんばっています（自分なりに）
その人は自分は仕事に対しては半分の力しか出さないからといっていつもさりげなくいなくなり休憩ばかりとります。なので当然周りからは文句がでます。
私も腹が立ちます。
たまに私も仕事をお願いしますが、ことごとく断られます。
怒りが顔にもろにでているのでしょうか？
ほかの人も同じ目にあって怒っていても、別の日には普通に話をしていますが、私に対しては完璧に違います。パートに言われたから腹がたったのかもしれませんが。

でも職場以外でも子供の学校関係で同じように周りから影口を叩かれている人がいますが、その人とも同じような状態です。
私は基本は気が強いのでしょう。
人には嫌われたくないので面とむかっていいませんが、たまに我慢できなくなると（自分的には）激しくはない言い方で反論したりします。

同じような人と同じような問題があるということはきっと私に問題があるのだと思います。
態度や顔にでているのだと思います。

こえから先そういう人ともうまくつきあえる方法をご伝授ください。
なにを変えればいいのか教えてください。